Предельная вероятность - Marginal likelihood

В статистике , предельная функция правдоподобия , или интегрированная вероятность , является функцией правдоподобия , в котором были некоторые переменные параметры маргинальная . В контексте байесовской статистики это также может называться свидетельством или модельным свидетельством .

Концепция

Учитывая набор независимых одинаково распределенных точек данных, где в соответствии с некоторым распределением вероятностей, параметризованным , где сама является случайной величиной, описываемой распределением, то есть маргинальное правдоподобие в целом спрашивает, какова вероятность , где было исключено (интегрировано) : ${\ Displaystyle \ mathbf {X} = (x_ {1}, \ ldots, x_ {n}),}$${\ displaystyle x_ {i} \ sim p (x_ {i} | \ theta)}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ Displaystyle \ тета \ сим р (\ тета \ середина \ альфа),}$${\ Displaystyle р (\ mathbf {X} \ середина \ альфа)}$${\ displaystyle \ theta}$

${\ Displaystyle п (\ mathbf {X} \ mid \ alpha) = \ int _ {\ theta} p (\ mathbf {X} \ mid \ theta) \, p (\ theta \ mid \ alpha) \ \ operatorname { d} \! \ theta}$

Приведенное выше определение сформулировано в контексте байесовской статистики . В классической ( частотной ) статистике понятие предельного правдоподобия возникает вместо этого в контексте совместного параметра , где - фактический интересующий параметр, а не представляющий интерес неприятный параметр . Если существует распределение вероятностей для , часто желательно рассматривать функцию правдоподобия только в терминах , исключая : ${\ displaystyle \ theta = (\ psi, \ lambda)}$${\ displaystyle \ psi}$${\ displaystyle \ lambda}$${\ displaystyle \ lambda}$${\ displaystyle \ psi}$${\ displaystyle \ lambda}$

${\ Displaystyle {\ mathcal {L}} (\ psi; \ mathbf {X}) = p (\ mathbf {X} \ mid \ psi) = \ int _ {\ lambda} p (\ mathbf {X} \ mid \ lambda, \ psi) \, p (\ lambda \ mid \ psi) \ \ operatorname {d} \! \ lambda}$

К сожалению, предельное правдоподобие, как правило, трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда маргинальный параметр является сопряженным предшествующим распределением данных. В других случаях требуется какой-то метод численного интегрирования , либо общий метод, такой как гауссово интегрирование или метод Монте-Карло , либо метод, специализированный для статистических задач, таких как приближение Лапласа , выборка Гиббса / Метрополиса или алгоритм EM .

Также возможно применить вышеуказанные соображения к одной случайной величине (точке данных) , а не к набору наблюдений. В байесовском контексте это эквивалентно предыдущему прогнозному распределению точки данных. ${\ displaystyle x}$

Приложения

Сравнение байесовских моделей

При сравнении байесовских моделей маргинальные переменные являются параметрами для определенного типа модели, а оставшаяся переменная - это идентичность самой модели. В этом случае маргинальная вероятность - это вероятность данных с учетом типа модели, без каких-либо конкретных параметров модели. При записи параметров модели предельное правдоподобие для модели M равно ${\ displaystyle \ theta}$

${\ displaystyle p (\ mathbf {X} \ mid M) = \ int p (\ mathbf {X} \ mid \ theta, M) \, p (\ theta \ mid M) \, \ operatorname {d} \! \ theta}$

Именно в этом контексте обычно используется термин « модельное свидетельство» . Эта величина важна, потому что апостериорное отношение шансов для модели M _{1 по} сравнению с другой моделью M ₂ включает отношение предельных правдоподобий, так называемый байесовский фактор :

${\ displaystyle {\ frac {p (M_ {1} \ mid \ mathbf {X})} {p (M_ {2} \ mid \ mathbf {X})}} = {\ frac {p (M_ {1}) )} {p (M_ {2})}} \, {\ frac {p (\ mathbf {X} \ mid M_ {1})} {p (\ mathbf {X} \ mid M_ {2})}} }$

что схематично можно представить как

апостериорные шансы = априорные шансы × байесовский фактор

Смотрите также

• Эмпирические байесовские методы
• Парадокс Линдли
• Предельная вероятность
• Байесовский информационный критерий

Рекомендации

• Чарльз С. Бос. «Сравнение методов расчета предельного правдоподобия». В В. Хердле и Б. Ронце, редакторах, COMPSTAT 2002: Proceedings in Computational Statistics , pp. 111–117. 2002. (Доступен в виде препринта в Интернете: [1] )
• Он-лайн учебник: Теория информации, Умозаключение, и алгоритмы обучения , с помощью Дэвида JC Маккея .