Байесовское иерархическое моделирование - Bayesian hierarchical modeling

Байесовское иерархическое моделирование представляет собой статистическая модель написано на нескольких уровнях (иерархическая форма) , который оценивает параметры на заднем распределении с использованием методы байесовской . Подмодели объединяются, образуя иерархическую модель, а теорема Байеса используется для их интеграции с наблюдаемыми данными и учета всей присутствующей неопределенности. Результатом этого интегрирования является апостериорное распределение, также известное как обновленная оценка вероятности, поскольку получены дополнительные свидетельства априорного распределения .

Частая статистика может давать заключения, кажущиеся несовместимыми с выводами, предлагаемыми байесовской статистикой, из-за байесовской трактовки параметров как случайных величин и использования субъективной информации при установлении допущений по этим параметрам. Поскольку подходы отвечают на разные вопросы, формальные результаты технически не противоречат друг другу, но два подхода расходятся во мнениях относительно того, какой ответ имеет отношение к конкретным приложениям. Байесовцы утверждают, что нельзя игнорировать релевантную информацию, касающуюся принятия решений и обновления убеждений, и что иерархическое моделирование может отменить классические методы в приложениях, где респонденты предоставляют несколько данных наблюдений. Более того, модель оказалась устойчивой , причем апостериорное распределение менее чувствительно к более гибким иерархическим априорным значениям.

Иерархическое моделирование используется, когда информация доступна на нескольких разных уровнях единиц наблюдения. Например, в эпидемиологическом моделировании для описания траекторий заражения для нескольких стран единицами наблюдения являются страны, и каждая страна имеет свой собственный временной профиль ежедневных случаев инфицирования. При анализе кривой падения для описания кривой падения добычи нефти или газа для нескольких скважин, единицы наблюдения - это нефтяные или газовые скважины в области коллектора, и каждая скважина имеет собственный временной профиль дебитов нефти или газа (обычно, баррелей в месяц). Структура данных для иерархического моделирования сохраняет вложенную структуру данных. Иерархическая форма анализа и организации помогает в понимании многопараметрических задач, а также играет важную роль в разработке вычислительных стратегий.

Философия

Статистические методы и модели обычно включают несколько параметров, которые можно рассматривать как связанные или связанные таким образом, что проблема подразумевает зависимость совместной вероятностной модели для этих параметров. Индивидуальные степени веры, выраженные в форме вероятностей, сопровождаются неопределенностью. При этом степень веры меняется с течением времени. Как заявили профессор Хосе М. Бернардо и профессор Адриан Ф. Смит : «Актуальность процесса обучения заключается в эволюции индивидуальных и субъективных представлений о реальности». Эти субъективные вероятности более непосредственно связаны с умом, чем с физическими вероятностями. Следовательно, именно с этой необходимостью обновления убеждений байесовцы сформулировали альтернативную статистическую модель, которая учитывает предшествующее наступление определенного события.

Теорема Байеса

Предполагаемое наступление реального события обычно изменяет предпочтения между определенными вариантами. Это делается путем изменения степени убежденности, привязанной индивидуумом к событиям, определяющим варианты.

Предположим, что при исследовании эффективности кардиологического лечения, когда пациенты в больнице j имеют вероятность выживания, вероятность выживания будет обновляться с появлением y , события, при котором создается сомнительная сыворотка, которая, как полагают некоторые, увеличивается. выживаемость у кардиологических больных.

Чтобы сделать обновленные утверждения вероятности относительно наступления события y , мы должны начать с модели, обеспечивающей совместное распределение вероятностей для и y . Это можно записать как произведение двух распределений, которые часто называют априорным распределением и распределением выборки соответственно:

Используя основное свойство условной вероятности , апостериорное распределение даст:

Это уравнение, показывающее связь между условной вероятностью и отдельными событиями, известно как теорема Байеса. Это простое выражение инкапсулирует техническое ядро ​​байесовского вывода, цель которого - включить обновленное убеждение подходящими и решаемыми способами.

Возможность обмена

Обычно отправной точкой статистического анализа является предположение, что n значений можно обменять. Если информация - кроме данных y - не доступна, чтобы отличить какие-либо из них от любых других, и не может быть выполнено упорядочивание или группировка параметров, следует предположить симметрию между параметрами в их предыдущем распределении. Эта симметрия вероятностно представлена ​​взаимозаменяемостью. Как правило, полезно и уместно моделировать данные из обмениваемого распределения как независимо и одинаково распределенные , учитывая некоторый неизвестный вектор параметров , с распределением .

Конечная заменяемость

Для фиксированного числа n набор является заменяемым, если совместная вероятность инвариантна относительно перестановок индексов. То есть для каждой перестановки или (1, 2,…, n ),

Ниже приведен заменяемый, но не независимый и идентичный (iid) пример: рассмотрим урну с красным и синим шарами внутри, с вероятностью вытащить любой из них. Шары тянутся без замены, т. Е. После того, как один шар будет вытянут из n шаров, останется n  - 1 шаров для следующего розыгрыша.

Поскольку вероятность выбора красного шара при первом розыгрыше и синего шара при втором розыгрыше равна вероятности выбора синего шара при первом розыгрыше и красного шара при втором розыгрыше, оба из которых равны 1 / 2 (т.е. ), то и являются заменяемыми.

Но вероятность выбора красного шара при втором розыгрыше при условии, что красный шар уже был выбран в первом розыгрыше, равна 0, и не равна вероятности того, что красный шар будет выбран во втором розыгрыше, которая равна 1. / 2 (т.е. ). Таким образом, и не являются независимыми.

Если они независимы и одинаково распределены, то они взаимозаменяемы, но обратное не всегда верно.

Бесконечная возможность обмена

Бесконечная взаимозаменяемость этого свойство , что каждое конечное подмножество из бесконечной последовательности , является сменным. То есть для любого n последовательность заменяема.

Иерархические модели

Составные части

При построении апостериорного распределения байесовское иерархическое моделирование использует две важные концепции, а именно:

  1. Гиперпараметры : параметры априорного распределения
  2. Гиперприоры : распределения гиперпараметров

Предположим, что случайная величина Y подчиняется нормальному распределению с параметром θ в качестве среднего и 1 в качестве дисперсии , то есть . Тильда отношение может быть прочитано как «имеет распределение» или «распространяются как». Предположим также , что параметр имеет распределение заданного по нормальному распределению со средним и дисперсией 1, то есть . Кроме того, следует другое распределение приведены, например, на стандартное нормальное распределение , . Параметр называется гиперпараметром, а его распределение, заданное как, является примером гиперприорного распределения. Обозначения распределения Y изменяется по мере добавления другого параметра, то есть . Если есть другой этап, скажем, следует за другим нормальным распределением со средним значением и дисперсией , что означает , и его также можно назвать гиперпараметрами, в то время как их распределения также являются гиперприорными распределениями.

Фреймворк

Позвольте быть наблюдением и параметром, управляющим процессом генерации данных для . Предположим далее, что параметры генерируются обменно из общей совокупности, а распределение регулируется гиперпараметром . Байесовская иерархическая модель содержит следующие этапы:

Вероятность, как видно на этапе I , с предварительным распределением. Обратите внимание, что вероятность зависит только от сквозного .

Предыдущее распределение со стадии I можно разбить на:

[из определения условной вероятности]

В качестве гиперпараметра с гиперприорным распределением .

Таким образом, апостериорное распределение пропорционально:

[используя теорему Байеса]

Пример

Чтобы проиллюстрировать это, рассмотрим пример: учитель хочет оценить, насколько хорошо ученик сдал SAT . Учитель использует информацию об оценках учащегося в старшей школе и текущем среднем балле (GPA), чтобы сделать оценку. Текущий средний балл студента, обозначенный как , имеет вероятность, заданную некоторой функцией вероятности с параметром , т . Е. Этот параметр является результатом SAT студента. Оценка SAT рассматривается как выборка, полученная из общего распределения населения, проиндексированного другим параметром , которым является оценка учащегося в старшей школе (первокурсник, второкурсник, младший или старший). То есть . Более того, гиперпараметр следует своему собственному распределению, заданному гиперприором. Чтобы вычислить результат SAT с учетом информации о среднем балле,

Вся информация в задаче будет использована для решения апостериорного распределения. Вместо решения только с использованием априорного распределения и функции правдоподобия использование гиперприоров дает больше информации, чтобы сделать более точные представления о поведении параметра.

2-х ступенчатая иерархическая модель

В общем, совместное апостериорное распределение интереса в двухступенчатых иерархических моделях следующее:

3-х ступенчатая иерархическая модель

Для трехступенчатых иерархических моделей апостериорное распределение определяется как:

Рекомендации