Гиперприор - Hyperprior

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Приор Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В байесовской статистике , hyperprior является априорное распределение на гиперпараметр , то есть, по параметру предварительного распределения .

Как с термином гиперпараметр, использование гипер , чтобы отличить его от предшествующего распределения параметра модели для базовой системы. В частности, они возникают при использовании сопряженных априорных чисел .

Например, если один использует бета - распределение для моделирования распределения параметра р о с распределением Бернулли , то:

• Распределение Бернулли (с параметром p ) - это модель базовой системы;
• p - параметр базовой системы (распределение Бернулли);
• Бета-распределение (с параметрами α и β ) - это априорное распределение p ;
• α и β - параметры предварительного распределения (бета-распределение), следовательно, гиперпараметры;
• Таким образом, априорное распределение α и β является гиперприорным.

В принципе, можно повторить вышеизложенное: если сам гиперприор имеет гиперпараметры, их можно назвать гипергиперпараметрами и так далее.

Аналогично можно назвать апостериорное распределение по гиперпараметру гиперпосторным, и, если они принадлежат к одному семейству, назвать их сопряженными гиперраспределениями или сопряженными гиперприорами. Однако это быстро становится очень абстрактным и удаленным от исходной проблемы.

Цель

Гиперприоры, как и сопряженные априорные значения, удобны для вычислений - они не меняют процесс байесовского вывода, а просто позволяют проще описывать и вычислять с помощью априорного вывода.

Неопределенность

Во-первых, использование гиперприора позволяет выразить неопределенность в гиперпараметре: принятие фиксированного априорного значения является предположением, изменение гиперпараметра априорного значения позволяет провести анализ чувствительности на основе этого предположения, а использование распределения по этому гиперпараметру позволяет выразить неопределенность в этом предположении: «предположим, что априор имеет такую ​​форму (это параметрическое семейство), но мы не уверены в том, какими именно должны быть значения параметров».

Распределение смеси

Более абстрактно, если используется гиперприор, то априорное распределение (по параметру базовой модели) само по себе представляет собой плотность смеси : это средневзвешенное значение различных априорных распределений (по разным гиперпараметрам), причем гиперприор является взвешивающим. . Это добавляет дополнительные возможные распределения (помимо используемого параметрического семейства), поскольку параметрические семейства распределений, как правило, не являются выпуклыми множествами - поскольку плотность смеси представляет собой выпуклую комбинацию распределений, она, как правило, находится за пределами семейства. Например, смесь двух нормальных распределений не является нормальным распределением: если взять разные средние (достаточно отдаленные) и смешать 50% каждого из них, получится бимодальное распределение, которое, таким образом, не является нормальным. Фактически, выпуклая оболочка нормальных распределений является плотной во всех распределениях, поэтому в некоторых случаях вы можете сколь угодно точно аппроксимировать данное априорное распределение, используя семейство с подходящим гиперприором.

Что делает этот подход особенно полезным, так это использование конъюгированных априорных значений: индивидуальные конъюгированные априорные элементы легко вычисляются апостериорами, и, таким образом, смесь конъюгированных априорных значений представляет собой ту же смесь апостериорных элементов: нужно только знать, как каждое из них сопряжено с предшествующими изменениями. Предварительное использование одного конъюгата может быть слишком ограничительным, но использование смеси априорных конъюгатов может дать желаемое распределение в форме, которую легко вычислить. Это похоже на разложение функции на собственные функции - см. Предыдущее сопряжение: аналогия с собственными функциями .

Динамическая система

Гиперприор - это распределение на пространстве возможных гиперпараметров. Если кто-то использует сопряженные априорные значения, то это пространство сохраняется за счет перехода к апостериорным - таким образом, по мере поступления данных распределение изменяется, но остается в этом пространстве: по мере поступления данных распределение развивается как динамическая система (каждая точка гиперпараметрического пространства развивается к обновленным гиперпараметрам), с течением времени сходятся, так же как сходится сам предыдущий.

Рекомендации

• Бернардо, JM; Смит, AFM (2000). Байесовская теория . Нью-Йорк: Вили. ISBN   0-471-49464-X .