Гиперпараметр - Hyperparameter

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Приор Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В байесовской статистике , гиперпараметр является параметром предварительного распределения ; термин используется, чтобы отличить их от параметров модели для анализируемой системы.

Например, если один использует бета - распределение для моделирования распределения параметра р о с распределением Бернулли , то:

• p - параметр базовой системы (распределение Бернулли), и
• α и β - параметры априорного распределения (бета-распределение), следовательно, гиперпараметры .

Можно взять одно значение для данного гиперпараметра, или можно выполнить итерацию и взять распределение вероятностей для самого гиперпараметра, называемое гиперприором .

Цель

Часто используется априорное значение, которое происходит из параметрического семейства распределений вероятностей - отчасти это делается для наглядности (чтобы можно было записать распределение и выбрать форму, варьируя гиперпараметр, а не пытаться создать произвольную функцию), и частично , так что можно варьироваться в гиперпараметре, в частности , в способе сопряженных априорий , или для анализа чувствительности.

Сопряженные приоры

При использовании сопряженного априорного распределения апостериорное распределение будет из того же семейства, но будет иметь разные гиперпараметры, которые отражают добавленную информацию из данных: с субъективной точки зрения, убеждения были обновлены. Для общего априорного распределения это очень сложно с вычислительной точки зрения, и апостериорное распределение может иметь необычную или трудно описываемую форму, но с сопряженным априорным распределением обычно существует простая формула, связывающая значения гиперпараметров апостериорного распределения со значениями гиперпараметры априорного, и, таким образом, вычисление апостериорного распределения очень просто.

Анализ чувствительности

Основное беспокойство пользователей байесовской статистики и критика со стороны критиков - это зависимость апостериорного распределения от априорного. Гиперпараметры решают эту проблему, позволяя легко изменять их и видеть, как изменяется апостериорное распределение (и различные его статистические данные, такие как достоверные интервалы ): можно увидеть, насколько чувствительны свои выводы к его предыдущим предположениям, и этот процесс называется анализом чувствительности .

Точно так же можно использовать априорное распределение с диапазоном гиперпараметра, возможно, отражающим неопределенность в правильности до взятия, и отразить это в диапазоне для окончательной неопределенности.

Гиперприоры

Вместо использования одного значения для данного гиперпараметра можно вместо этого рассмотреть распределение вероятностей самого гиперпараметра; это называется « гиперприор ». В принципе, это можно повторить, называя параметры гиперприори «гипергиперпараметрами» и т. Д.

Смотрите также

• Эмпирический метод Байеса

Рекомендации

дальнейшее чтение

• Бернардо, JM; Смит, AFM (2000). Байесовская теория . Нью-Йорк: Вили. ISBN   0-471-49464-X .
• Гельман, А .; Хилл, Дж. (2007). Анализ данных с использованием регрессии и многоуровневых / иерархических моделей . Нью-Йорк: Издательство Кембриджского университета. С. 251–278. ISBN   978-0-521-68689-1 .
• Крушке, JK (2010). Выполнение байесовского анализа данных: Учебное пособие с R и BUGS . Академическая пресса. С. 241–264. ISBN   978-0-12-381485-2 .