Теорема Бернштейна – фон Мизеса - Bernstein–von Mises theorem

Часть серии о
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятностный подход
Техники
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В умозаключениях байесовских , тот Бернштейн-Мизес теорема дает основу для использования Байеса надежных наборов для уверенности операторов в параметрических моделях . В нем говорится, что при некоторых условиях апостериорное распределение сходится в пределе бесконечных данных к многомерному нормальному распределению с центром в оценке максимального правдоподобия с ковариационной матрицей, заданной как , где - параметр истинной популяции, а - информационная матрица Фишера для истинной совокупности. значение параметра. ${\ Displaystyle п ^ {- 1} я (\ theta _ {0}) ^ {- 1}}$${\ displaystyle \ theta _ {0}}$${\ displaystyle I (\ theta _ {0})}$

Теорема Бернштейна-фон Мизеса связывает байесовский вывод с частотным выводом . Он предполагает, что существует некий истинный вероятностный процесс, который генерирует наблюдения, как в частотном подходе, а затем изучает качество байесовских методов восстановления этого процесса и делает заявления о неопределенности в отношении этого процесса. В частности, в нем говорится, что байесовские достоверные наборы определенного уровня достоверности будут асимптотически быть наборами достоверности с уровнем достоверности , что позволяет интерпретировать байесовские достоверные наборы. ${\ displaystyle \ alpha}$${\ displaystyle \ alpha}$

Эвристическое заявление

В модели , при определенных условиях регулярности (конечномерен, хорошо определены, гладкие, наличие тестов), если априорное распределение на имеет плотность относительно меры Лебега , которая является достаточно гладкой (вблизи отделено от нуля), расстояние полной вариации между масштабированным апостериорным распределением (путем центрирования и масштабирования до ) и распределением Гаусса с центром на любом эффективном оценщике и с обратной информацией Фишера, поскольку дисперсия сходится по вероятности к нулю. ${\ displaystyle (P _ {\ theta}: \ theta \ in \ Theta)}$${\ displaystyle \ Pi}$${\ displaystyle \ theta}$${\ displaystyle \ theta _ {0}}$${\ displaystyle {\ sqrt {n}} (\ theta - \ theta _ {0})}$

Бернштейн – фон Мизес и оценка максимального правдоподобия

В случае, если оценщик максимального правдоподобия является эффективным оценщиком, мы можем подключить его и восстановить общую, более конкретную версию теоремы Бернштейна – фон Мизеса.

Подразумеваемое

Наиболее важным следствием теоремы Бернштейна – фон Мизеса является то, что байесовский вывод является асимптотически правильным с частотной точки зрения. Это означает, что для больших объемов данных можно использовать апостериорное распределение, чтобы с частотной точки зрения сделать достоверные утверждения об оценке и неопределенности.

История

Теорема названа в честь Ричарда фон Мизеса и С. Н. Бернштейна, хотя первое надлежащее доказательство было дано Джозефом Л. Дубом в 1949 году для случайных величин с конечным вероятностным пространством . Позже Люсьен Ле Кам , его аспирант Лоррейн Шварц , Дэвид А. Фридман и Перси Диаконис расширили доказательство при более общих предположениях.

Ограничения

В случае неверно заданной модели апостериорное распределение также станет асимптотически гауссовым с правильным средним значением, но не обязательно с информацией Фишера в качестве дисперсии. Это означает, что байесовские достоверные наборы уровней нельзя интерпретировать как доверительные наборы уровней . ${\ displaystyle \ alpha}$${\ displaystyle \ alpha}$

В случае непараметрической статистики теорема Бернштейна-фон Мизеса обычно не выполняется, за заметным исключением процесса Дирихле .

Замечательный результат был получен Фридманом в 1965 году: теорема Бернштейна – фон Мизеса почти наверняка не выполняется, если случайная величина имеет бесконечное счетное вероятностное пространство ; однако это зависит от наличия очень широкого диапазона возможных априорных значений. На практике априорные значения, обычно используемые в исследованиях, действительно обладают желаемым свойством даже с бесконечным счетным вероятностным пространством .

Различные сводные статистические данные, такие как мода и среднее значение, могут вести себя по-разному в апостериорном распределении. В примерах Фридмана апостериорная плотность и ее среднее значение могут сходиться к неверному результату, но апостериорная мода согласована и будет сходиться к правильному результату.

Котировки

Статистик AWF Эдвардс заметил: «Иногда в защиту байесовской концепции говорят, что выбор априорного распределения не важен на практике, потому что он почти не влияет на апостериорное распределение при наличии умеренных объемов данных. об этой «защите» тем лучше ».

Примечания

использованная литература

• Ваарт, А. В. ван дер (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-49603-9.
• Дуб, Джозеф Л. (1949), Применение теории мартингалов . Коллок. Междунар. du CNRS (Париж), № 13, стр. 23–27.
• Фридман, Дэвид А. (1963). Об асимптотическом поведении байесовских оценок в дискретном случае I . Анналы математической статистики, т. 34. С. 1386–1403.
• Фридман, Дэвид А. (1965). Об асимптотике байесовских оценок в дискретном случае. II . Анналы математической статистики, т. 36. С. 454–456.
• Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений , Springer. ISBN  0-387-96307-3 (страницы 336 и 618–621).
• Лоррейн Шварц (1965). О байесовских процедурах . Z. Wahrscheinlichkeitstheorie, № 4, стр. 10–26.