Сопряжение приора - Conjugate prior

В байесовской теории вероятностей , если апостериорное распределение p ( θ | x ) находится в том же семействе распределений вероятностей, что и априорное распределение вероятностей p (θ), априорное и апостериорное распределение тогда называются сопряженными распределениями, а априорное - сопряженным априорным. для функции правдоподобия p (x | θ ).

Сопряженное предшествующее - это алгебраическое удобство, дающее выражение апостериорного выражения в закрытой форме ; в противном случае может потребоваться численное интегрирование . Кроме того, сопряженные априорные значения могут дать интуицию, более прозрачно показывая, как функция правдоподобия обновляет априорное распределение.

Это понятие, а также термин «сопряженный априор » были введены Говардом Райффой и Робертом Шлайфером в их работе по байесовской теории принятия решений . Подобная концепция была независимо открыта Джорджем Альфредом Барнардом .

Пример

Форма сопряженного априорного значения обычно может быть определена путем проверки плотности вероятности или функции массы вероятности распределения. Например, рассмотрим случайную величину, которая состоит из количества успехов в испытаниях Бернулли с неизвестной вероятностью успеха в [0,1]. Эта случайная величина будет следовать биномиальному распределению с функцией массы вероятности вида ${\ displaystyle s}$ ${\ displaystyle n}$ ${\ displaystyle q}$

{\ displaystyle p (s) = {n \ choose s} q ^ {s} (1-q) ^ {ns}}

Обычное сопряженное априорное распределение - это бета-распределение с параметрами ( , ): ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$

{\ Displaystyle п (д) = {д ^ {\ альфа -1} (1-д) ^ {\ бета -1} \ над \ mathrm {B} (\ альфа, \ бета)}}

где и выбраны, чтобы отразить любое существующее мнение или информацию ( = 1 и = 1 дадут равномерное распределение ), а Β ( , ) - бета-функция, действующая как нормализующая константа . ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$ ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$ ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$

В этом контексте и называются гиперпараметрами (параметры предшествующей модели), чтобы отличать их от параметров базовой модели (здесь q ). Типичной характеристикой сопряженных априорных значений является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, это означает, что гиперпараметров будет на один больше, чем параметра; но это также относится к параметрам с векторными и матричными значениями. (См общей статьи о показательной семье , и рассмотрит также распределение Уишарта , сопряженная приор ковариационной матрицы из более многомерного нормального распределения , для примера , в котором участвуют большую размерность.) ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$

Если мы затем выберем эту случайную переменную и получим s успехов и f неудач, мы получим

{\ displaystyle {\ begin {align} P (s, f \ mid q = x) & = {s + f \ choose s} x ^ {s} (1-x) ^ {f}, \\ P (q = x) & = {x ^ {\ alpha -1} (1-x) ^ {\ beta -1} \ over \ mathrm {B} (\ alpha, \ beta)}, \\ P (q = x \ mid s, f) & = {\ frac {P (s, f \ mid x) P (x)} {\ int P (s, f \ mid y) P (y) dy}} \\ & = {{ {s + f \ choose s} x ^ {s + \ alpha -1} (1-x) ^ {f + \ beta -1} / \ mathrm {B} (\ alpha, \ beta)} \ over \ int _ { y = 0} ^ {1} \ left ({s + f \ choose s} y ^ {s + \ alpha -1} (1-y) ^ {f + \ beta -1} / \ mathrm {B} (\ alpha , \ beta) \ right) dy} \\ & = {x ^ {s + \ alpha -1} (1-x) ^ {f + \ beta -1} \ over \ mathrm {B} (s + \ alpha, f + \ бета)}, \ end {выровнено}}}

что является еще одним бета-распределением с параметрами ( + s , + f ). Это апостериорное распределение затем можно было бы использовать в качестве априорного для большего количества выборок, при этом гиперпараметры просто добавляли каждый дополнительный фрагмент информации по мере его поступления. ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$

Интерпретации

Псевдо-наблюдения

Часто бывает полезно думать о гиперпараметрах сопряженного априорного распределения как о соответствующих наблюдениях определенного количества псевдонаблюдений со свойствами, заданными параметрами. Например, значения и из бета - распределения можно рассматривать как соответствующие успехи и неудачи , если задний режим используется , чтобы выбрать значение параметра оптимальной, или успехи и неудачи , если задний средний используется , чтобы выбрать значение параметра оптимальной. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать в терминах псевдонаблюдений. Это может помочь как в обеспечении интуиции за часто беспорядочными уравнениями обновления, так и в выборе разумных гиперпараметров для априорных. ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$ ${\ displaystyle \ alpha -1}$ ${\ displaystyle \ beta -1}$ ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$

Аналогия с собственными функциями

Сопряженные априорные функции аналогичны собственным функциям в теории операторов в том смысле, что они представляют собой распределения, на которых "обусловливающий оператор" действует хорошо понятным образом, рассматривая процесс перехода от предшествующего к апостериорному как оператор.

Как в собственных функциях, так и в сопряженных априорных функциях существует конечномерное пространство, которое сохраняется оператором: выход имеет ту же форму (в том же пространстве), что и вход. Это значительно упрощает анализ, поскольку в противном случае рассматривается бесконечномерное пространство (пространство всех функций, пространство всех распределений).

Однако процессы только аналогичны, а не идентичны: обусловливание не является линейным, поскольку пространство распределений не замыкается линейной комбинацией , только выпуклой комбинацией , а апостериор имеет только ту же форму, что и предыдущий, а не скалярное кратное.

Подобно тому, как можно легко проанализировать, как линейная комбинация собственных функций эволюционирует под действием оператора (поскольку по отношению к этим функциям оператор диагонализуется ), можно легко проанализировать, как выпуклая комбинация сопряженных априорных функций эволюционирует при обусловливании; это называется использованием hyperprior , и соответствует , используя плотность смеси сопряженных априорий, а не одного конъюгата до.

Динамическая система

Можно рассматривать обусловливание сопряженных априорных значений как определение разновидности (дискретного времени) динамической системы : из заданного набора гиперпараметров входящие данные обновляют эти гиперпараметры, поэтому можно рассматривать изменение гиперпараметров как своего рода «эволюцию во времени» система, соответствующая «обучению». Начало в разных точках дает разные потоки с течением времени. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что, поскольку разные выборки приводят к разным выводам, это зависит не просто от времени, а скорее от данных с течением времени. Для связанных подходов см. Рекурсивное байесовское оценивание и Ассимиляция данных .

Практический пример

Допустим, в вашем городе работает прокат автомобилей. Водители могут выгружать и забирать автомобили в любом месте в черте города. Найти и арендовать автомобили можно с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль на небольшом расстоянии от вашего домашнего адреса в любое время суток.

В течение трех дней вы смотрите в приложение и обнаруживаете следующее количество автомобилей недалеко от вашего домашнего адреса: ${\ Displaystyle \ mathbf {x} = [3,4,1]}$

Если мы предположим, что данные поступают из распределения Пуассона , мы можем вычислить оценку максимального правдоподобия параметров модели, которая. Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что в данный день будет доступен хотя бы один автомобиль: ${\ textstyle \ lambda = {\ frac {3 + 4 + 1} {3}} \ приблизительно 2,67.}$ ${\ textstyle p (x> 0 | \ lambda \ приблизительно 2,67) = 1-p (x = 0 | \ lambda \ приблизительно 2,67) = 1 - {\ frac {2,67 ^ {0} e ^ {- 2,67}} { 0!}} \ Примерно 0,93}$

Это распределение Пуассона, которое с наибольшей вероятностью привело к наблюдаемым данным . Но данные также могли быть получены из другого распределения Пуассона, например, с , или и т. Д. На самом деле существует бесконечное количество распределений Пуассона, которые могли бы сгенерировать наблюдаемые данные, и с относительно небольшим количеством точек данных мы должны быть совершенно не уверены в том, какие Эти данные были получены с помощью точного распределения Пуассона. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности для каждого из этих распределений Пуассона, взвешенное в зависимости от того, насколько они вероятны, учитывая данные, которые мы наблюдали . ${\ displaystyle \ mathbf {x}}$ ${\ displaystyle \ lambda = 3}$ ${\ displaystyle \ lambda = 2}$ ${\ displaystyle p (x> 0 | \ lambda)}$ ${\ displaystyle \ mathbf {x}}$

Как правило, эта величина известна как апостериорное прогнозирующее распределение, где - новая точка данных, это наблюдаемые данные и параметры модели. Используя теорему Байеса, мы можем расширить, поэтому, как правило, этот интеграл трудно вычислить. Однако, если вы выберете сопряженное предварительное распределение , можно получить выражение в закрытой форме. Это столбец апостериорного прогноза в таблицах ниже. ${\ Displaystyle п (х | \ mathbf {x}) = \ int _ {\ theta} p (x | \ theta) p (\ theta | \ mathbf {x}) d \ theta \ ,,}$ ${\ displaystyle x}$ ${\ displaystyle \ mathbf {x}}$ ${\ displaystyle \ theta}$ ${\ Displaystyle p (\ theta | \ mathbf {x}) = {\ frac {p (\ mathbf {x} | \ theta) p (\ theta)} {p (\ mathbf {x})}} \ ,, }$ ${\ Displaystyle п (х | \ mathbf {x}) = \ int _ {\ theta} p (x | \ theta) {\ frac {p (\ mathbf {x} | \ theta) p (\ theta)} { p (\ mathbf {x})}} d \ theta \ ,.}$ ${\ Displaystyle р (\ тета)}$

Возвращаясь к нашему примеру, если мы выберем гамма-распределение в качестве нашего предварительного распределения по скорости распределений Пуассона, то апостериорным прогнозом будет отрицательное биномиальное распределение, как видно из последнего столбца в таблице ниже. Гамма-распределение параметризуется двумя гиперпараметрами, которые мы должны выбрать. Глядя на графики гамма-распределения, мы выбираем , что кажется разумным предварительным значением для среднего количества автомобилей. Выбор априорных гиперпараметров по своей сути субъективен и основан на предварительных знаниях. ${\ displaystyle \ alpha, \ beta}$ ${\ Displaystyle \ альфа = \ бета = 2}$

Учитывая априорные гиперпараметры и мы можем вычислить апостериорные гиперпараметры и ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$ ${\ textstyle \ alpha '= \ alpha + \ sum _ {i} x_ {i} = 2 + 3 + 4 + 1 = 10}$ ${\ textstyle \ beta '= \ beta + n = 2 + 3 = 5}$

Учитывая апостериорные гиперпараметры, мы, наконец, можем вычислить апостериорное предсказание ${\ textstyle p (x> 0 | \ mathbf {x}) = 1-p (x = 0 | \ mathbf {x}) = 1-NB \ left (0 \, | \, 10, {\ frac {1) } {1 + 5}} \ right) \ приблизительно 0,84}$

Эта гораздо более консервативная оценка отражает неопределенность параметров модели, которую учитывает апостериорный прогноз.

Таблица сопряженных распределений

Пусть n обозначает количество наблюдений. Во всех нижеприведенных случаях предполагается, что данные состоят из n точек (которые будут случайными векторами в многомерных случаях). ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$

Если функция правдоподобия принадлежит к экспоненциальному семейству , тогда существует сопряженная априорная величина, часто также в экспоненциальном семействе; см. Экспоненциальное семейство: сопряженные распределения .

Когда функция правдоподобия представляет собой дискретное распределение

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры	Интерпретация гиперпараметров	Задний прогностический
Бернулли	p (вероятность)	Бета	${\ Displaystyle \ альфа, \, \ бета \ в \ mathbb {R} \!}$	${\ displaystyle \ alpha + \ sum _ {i = 1} ^ {n} x_ {i}, \, \ beta + n- \ sum _ {i = 1} ^ {n} x_ {i} \!}$	${\ displaystyle \ alpha}$ успехи, неудачи ${\ displaystyle \ beta}$	${\ Displaystyle р ({\ тильда {х}} = 1) = {\ гидроразрыва {\ альфа '} {\ альфа' + \ бета '}}}$
Биномиальный	p (вероятность)	Бета	${\ Displaystyle \ альфа, \, \ бета \ в \ mathbb {R} \!}$	${\ Displaystyle \ альфа + \ сумма _ {я = 1} ^ {п} х_ {я}, \, \ бета + \ сумма _ {я = 1} ^ {п} N_ {я} - \ сумма _ {я = 1} ^ {n} x_ {i} \!}$	${\ displaystyle \ alpha}$ успехи, неудачи ${\ displaystyle \ beta}$	${\ displaystyle \ operatorname {BetaBin} ({\ тильда {x}} \| \ alpha ', \ beta')}$ ( бета-бином )
Отрицательный бином с известным числом отказов, r	p (вероятность)	Бета	${\ Displaystyle \ альфа, \, \ бета \ в \ mathbb {R} \!}$	${\ Displaystyle \ альфа + \ сумма _ {я = 1} ^ {п} х_ {я}, \, \ бета + гп \!}$	${\ displaystyle \ alpha}$ общие успехи, неудачи (т. е. эксперименты, предполагающие, что остаются фиксированными) ${\ displaystyle \ beta}$ ${\ displaystyle {\ frac {\ beta} {r}}}$ ${\ displaystyle r}$	${\ displaystyle \ operatorname {BetaNegBin} ({\ тильда {x}} \| \ alpha ', \ beta')}$ (бета-отрицательный бином)
Пуассон	λ (ставка)	Гамма	${\ Displaystyle к, \, \ тета \ в \ mathbb {R} \!}$	${\ displaystyle k + \ sum _ {i = 1} ^ {n} x_ {i}, \ {\ frac {\ theta} {n \ theta +1}} \!}$	${\ displaystyle k}$ всего вхождений в интервалы ${\ displaystyle {\ frac {1} {\ theta}}}$	${\ displaystyle \ operatorname {NB} \ left ({\ tilde {x}} \ mid k ', {\ frac {\ theta'} {\ theta '+1}} \ right)}$ ( отрицательный бином )
Пуассон	λ (ставка)	Гамма	${\ Displaystyle \ альфа, \, \ бета \!}$	${\ Displaystyle \ альфа + \ сумма _ {я = 1} ^ {п} х_ {я}, \ \ бета + п \!}$	${\ displaystyle \ alpha}$ всего вхождений в интервалы ${\ displaystyle \ beta}$	${\ displaystyle \ operatorname {NB} \ left ({\ tilde {x}} \ mid \ alpha ', {\ frac {1} {1+ \ beta'}} \ right)}$ ( отрицательный бином )
Категоричный	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\ displaystyle {\ boldsymbol {\ alpha}} \ in \ mathbb {R} ^ {k} \!}$	${\ displaystyle {\ boldsymbol {\ alpha}} + (c_ {1}, \ ldots, c_ {k}),}$ где - количество наблюдений в категории i ${\ displaystyle c_ {i}}$	${\ displaystyle \ alpha _ {я}}$ вхождения категории ${\ displaystyle i}$	${\ displaystyle {\ begin {align} p ({\ tilde {x}} = i) & = {\ frac {{\ alpha _ {i}} '} {\ sum _ {i} {\ alpha _ {i) }} '}} \\ & = {\ frac {\ alpha _ {i} + c_ {i}} {\ sum _ {i} \ alpha _ {i} + n}} \ end {выровнено}}}$
Полиномиальный	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\ displaystyle {\ boldsymbol {\ alpha}} \ in \ mathbb {R} ^ {k} \!}$	${\ displaystyle {\ boldsymbol {\ alpha}} + \ sum _ {i = 1} ^ {n} \ mathbf {x} _ {i} \!}$	${\ displaystyle \ alpha _ {я}}$ вхождения категории ${\ displaystyle i}$	${\ displaystyle \ operatorname {DirMult} ({\ tilde {\ mathbf {x}}} \ mid {\ boldsymbol {\ alpha}} ')}$ ( Дирихле-многочлен )
Гипергеометрический при известной общей численности населения, N	M (количество целевых членов)	Бета-биномиальный	${\ Displaystyle п = N, \ альфа, \, \ бета \!}$	${\ Displaystyle \ альфа + \ сумма _ {я = 1} ^ {п} х_ {я}, \, \ бета + \ сумма _ {я = 1} ^ {п} N_ {я} - \ сумма _ {я = 1} ^ {n} x_ {i} \!}$	${\ displaystyle \ alpha}$ успехи, неудачи ${\ displaystyle \ beta}$
Геометрический	p ₀ (вероятность)	Бета	${\ Displaystyle \ альфа, \, \ бета \ в \ mathbb {R} \!}$	${\ Displaystyle \ альфа + п, \, \ бета + \ сумма _ {я = 1} ^ {п} х_ {я} \!}$	${\ displaystyle \ alpha}$ эксперименты, полные неудачи ${\ displaystyle \ beta}$

Когда функция правдоподобия представляет собой непрерывное распределение

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры	Интерпретация гиперпараметров	Задний прогностический
Нормальный с известной дисперсией σ ²	μ (среднее)	Обычный	${\ displaystyle \ mu _ {0}, \, \ sigma _ {0} ^ {2} \!}$	${\ displaystyle {\ frac {1} {{\ frac {1} {\ sigma _ {0} ^ {2}}} + {\ frac {n} {\ sigma ^ {2}}}}} \ left ( {\ frac {\ mu _ {0}} {\ sigma _ {0} ^ {2}}} + {\ frac {\ sum _ {i = 1} ^ {n} x_ {i}} {\ sigma ^ {2}}} \ right), \ left ({\ frac {1} {\ sigma _ {0} ^ {2}}} + {\ frac {n} {\ sigma ^ {2}}} \ right) ^ {- 1}}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним ${\ displaystyle 1 / \ sigma _ {0} ^ {2}}$ ${\ displaystyle \ mu _ {0}}$	${\ Displaystyle {\ mathcal {N}} ({\ тильда {x}} \| \ mu _ {0} ', {\ sigma _ {0} ^ {2}}' + \ sigma ^ {2})}$
Нормальный с известной точностью τ	μ (среднее)	Обычный	${\ displaystyle \ mu _ {0}, \, \ tau _ {0} ^ {- 1} \!}$	${\ displaystyle {\ frac {\ tau _ {0} \ mu _ {0} + \ tau \ sum _ {i = 1} ^ {n} x_ {i}} {\ tau _ {0} + n \ tau }}, \, \ left (\ tau _ {0} + n \ tau \ right) ^ {- 1}}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним ${\ displaystyle \ tau _ {0}}$ ${\ displaystyle \ mu _ {0}}$	${\ displaystyle {\ mathcal {N}} \ left ({\ tilde {x}} \ mid \ mu _ {0} ', {\ frac {1} {\ tau _ {0}'}} + {\ frac {1} {\ tau}} \ right)}$
Нормальный с известным средним μ	σ ² (дисперсия)	Обратная гамма	${\ displaystyle \ mathbf {\ alpha, \, \ beta}}$	${\ displaystyle \ mathbf {\ alpha} + {\ frac {n} {2}}, \, \ mathbf {\ beta} + {\ frac {\ sum _ {i = 1} ^ {n} {(x_ { i} - \ mu) ^ {2}}} {2}}}$	дисперсия была оценена на основе наблюдений с выборочной дисперсией (то есть с суммой квадратов отклонений , где отклонения от известного среднего ) ${\ displaystyle 2 \ alpha}$ ${\ displaystyle \ beta / \ alpha}$ ${\ displaystyle 2 \ beta}$ ${\ displaystyle \ mu}$	${\ displaystyle t_ {2 \ alpha '} ({\ tilde {x}} \| \ mu, \ sigma ^ {2} = \ beta' / \ alpha ')}$
Нормальный с известным средним μ	σ ² (дисперсия)	Масштабированный обратный хи-квадрат	${\ displaystyle \ nu, \, \ sigma _ {0} ^ {2} \!}$	${\ displaystyle \ nu + n, \, {\ frac {\ nu \ sigma _ {0} ^ {2} + \ sum _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ { 2}} {\ nu + n}} \!}$	дисперсия была оценена на основе наблюдений с выборочной дисперсией ${\ displaystyle \ nu}$ ${\ displaystyle \ sigma _ {0} ^ {2}}$	${\ displaystyle t _ {\ nu '} ({\ тильда {x}} \| \ mu, {\ sigma _ {0} ^ {2}}')}$
Нормальный с известным средним μ	τ (точность)	Гамма	${\ Displaystyle \ альфа, \, \ бета \!}$	${\ displaystyle \ alpha + {\ frac {n} {2}}, \, \ beta + {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ {2 }} {2}} \!}$	точность оценивалась на основе наблюдений с выборочной дисперсией (т.е. суммой квадратов отклонений , где отклонения от известного среднего ) ${\ displaystyle 2 \ alpha}$ ${\ displaystyle \ beta / \ alpha}$ ${\ displaystyle 2 \ beta}$ ${\ displaystyle \ mu}$	${\ displaystyle t_ {2 \ alpha '} ({\ tilde {x}} \ mid \ mu, \ sigma ^ {2} = \ beta' / \ alpha ')}$
Обычный	μ и σ ² Предполагая заменяемость	Нормально-обратная гамма	${\ Displaystyle \ му _ {0}, \, \ ню, \, \ альфа, \, \ бета}$	${\ displaystyle {\ frac {\ nu \ mu _ {0} + n {\ bar {x}}} {\ nu + n}}, \, \ nu + n, \, \ alpha + {\ frac {n } {2}}, \,}$ ${\ displaystyle \ beta + {\ tfrac {1} {2}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + {\ frac {n \ nu} {\ nu + n}} {\ frac {({\ bar {x}} - \ mu _ {0}) ^ {2}} {2}}}$ ${\ displaystyle {\ bar {x}}}$ выборочное среднее	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; дисперсия оценивалась по наблюдениям с использованием выборочного среднего и суммы квадратов отклонений. ${\ displaystyle \ nu}$ ${\ displaystyle \ mu _ {0}}$ ${\ displaystyle 2 \ alpha}$ ${\ displaystyle \ mu _ {0}}$ ${\ displaystyle 2 \ beta}$	${\ displaystyle t_ {2 \ alpha '} \ left ({\ tilde {x}} \ mid \ mu', {\ frac {\ beta '(\ nu' +1)} {\ nu '\ alpha'}} \Правильно)}$
Обычный	μ и τ Предполагая заменяемость	Нормальная гамма	${\ Displaystyle \ му _ {0}, \, \ ню, \, \ альфа, \, \ бета}$	${\ displaystyle {\ frac {\ nu \ mu _ {0} + n {\ bar {x}}} {\ nu + n}}, \, \ nu + n, \, \ alpha + {\ frac {n } {2}}, \,}$ ${\ displaystyle \ beta + {\ tfrac {1} {2}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + {\ frac {n \ nu} {\ nu + n}} {\ frac {({\ bar {x}} - \ mu _ {0}) ^ {2}} {2}}}$ ${\ displaystyle {\ bar {x}}}$ выборочное среднее	среднее значение оценивалось по наблюдениям с использованием выборочного среднего , а точность оценивалась по наблюдениям с помощью выборочного среднего и суммы квадратов отклонений. ${\ displaystyle \ nu}$ ${\ displaystyle \ mu _ {0}}$ ${\ displaystyle 2 \ alpha}$ ${\ displaystyle \ mu _ {0}}$ ${\ displaystyle 2 \ beta}$	${\ displaystyle t_ {2 \ alpha '} \ left ({\ tilde {x}} \ mid \ mu', {\ frac {\ beta '(\ nu' +1)} {\ alpha '\ nu'}} \Правильно)}$
Многомерная нормаль с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${\ displaystyle {\ boldsymbol {\ boldsymbol {\ mu}}} _ {0}, \, {\ boldsymbol {\ Sigma}} _ {0}}$	${\ displaystyle \ left ({\ boldsymbol {\ Sigma}} _ {0} ^ {- 1} + n {\ boldsymbol {\ Sigma}} ^ {- 1} \ right) ^ {- 1} \ left ({ \ boldsymbol {\ Sigma}} _ {0} ^ {- 1} {\ boldsymbol {\ mu}} _ {0} + n {\ boldsymbol {\ Sigma}} ^ {- 1} \ mathbf {\ bar {x }} \Правильно),}$ ${\ displaystyle \ left ({\ boldsymbol {\ Sigma}} _ {0} ^ {- 1} + n {\ boldsymbol {\ Sigma}} ^ {- 1} \ right) ^ {- 1}}$ ${\ displaystyle \ mathbf {\ bar {x}}}$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним ${\ displaystyle {\ boldsymbol {\ Sigma}} _ {0} ^ {- 1}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$	${\ displaystyle {\ mathcal {N}} ({\ tilde {\ mathbf {x}}} \ mid {{\ boldsymbol {\ mu}} _ {0}} ', {{\ boldsymbol {\ Sigma}} _ {0}} '+ {\ boldsymbol {\ Sigma}})}$
Многомерная нормаль с известной матрицей точности Λ	μ (средний вектор)	Многомерный нормальный	${\ displaystyle \ mathbf {\ boldsymbol {\ mu}} _ {0}, \, {\ boldsymbol {\ Lambda}} _ {0}}$	${\ displaystyle \ left ({\ boldsymbol {\ Lambda}} _ {0} + n {\ boldsymbol {\ Lambda}} \ right) ^ {- 1} \ left ({\ boldsymbol {\ Lambda}} _ {0 } {\ boldsymbol {\ mu}} _ {0} + n {\ boldsymbol {\ Lambda}} \ mathbf {\ bar {x}} \ right), \, \ left ({\ boldsymbol {\ Lambda}} _ {0} + n {\ boldsymbol {\ Lambda}} \ right)}$ ${\ displaystyle \ mathbf {\ bar {x}}}$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним ${\ displaystyle {\ boldsymbol {\ Lambda}} _ {0}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$	${\ displaystyle {\ mathcal {N}} \ left ({\ tilde {\ mathbf {x}}} \ mid {{\ boldsymbol {\ mu}} _ {0}} ', {{{\ boldsymbol {\ Lambda }} _ {0}} '} ^ {- 1} + {\ boldsymbol {\ Lambda}} ^ {- 1} \ right)}$
Многомерный нормальный с известным средним μ	Σ (ковариационная матрица)	Инверс-Уишарт	${\ displaystyle \ nu, \, {\ boldsymbol {\ Psi}}}$	${\ Displaystyle п + \ ню, \, {\ boldsymbol {\ Psi}} + \ сумма _ {я = 1} ^ {n} (\ mathbf {x_ {i}} - {\ boldsymbol {\ mu}}) ( \ mathbf {x_ {i}} - {\ boldsymbol {\ mu}}) ^ {T}}$	ковариационная матрица оценивалась по наблюдениям суммой произведений попарных отклонений ${\ displaystyle \ nu}$ ${\ displaystyle {\ boldsymbol {\ Psi}}}$	${\ displaystyle t _ {\ nu '-p + 1} \ left ({\ tilde {\ mathbf {x}}} \| {\ boldsymbol {\ mu}}, {\ frac {1} {\ nu' -p + 1}} {\ boldsymbol {\ Psi}} '\ right)}$
Многомерный нормальный с известным средним μ	Λ (матрица точности)	Wishart	${\ Displaystyle \ ню, \, \ mathbf {V}}$	${\ displaystyle n + \ nu, \, \ left (\ mathbf {V} ^ {- 1} + \ sum _ {i = 1} ^ {n} (\ mathbf {x_ {i}} - {\ boldsymbol {\ mu}}) (\ mathbf {x_ {i}} - {\ boldsymbol {\ mu}}) ^ {T} \ right) ^ {- 1}}$	ковариационная матрица оценивалась по наблюдениям суммой произведений попарных отклонений ${\ displaystyle \ nu}$ ${\ displaystyle \ mathbf {V} ^ {- 1}}$	${\ displaystyle t _ {\ nu '-p + 1} \ left ({\ tilde {\ mathbf {x}}} \ mid {\ boldsymbol {\ mu}}, {\ frac {1} {\ nu' -p +1}} {\ mathbf {V} '} ^ {- 1} \ right)}$
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Wishart	${\ displaystyle {\ boldsymbol {\ mu}} _ {0}, \, \ kappa _ {0}, \, \ nu _ {0}, \, {\ boldsymbol {\ Psi}}}$	${\ displaystyle {\ frac {\ kappa _ {0} {\ boldsymbol {\ mu}} _ {0} + n \ mathbf {\ bar {x}}} {\ kappa _ {0} + n}}, \ , \ kappa _ {0} + n, \, \ nu _ {0} + n, \,}$ ${\ displaystyle {\ boldsymbol {\ Psi}} + \ mathbf {C} + {\ frac {\ kappa _ {0} n} {\ kappa _ {0} + n}} (\ mathbf {\ bar {x} } - {\ boldsymbol {\ mu}} _ {0}) (\ mathbf {\ bar {x}} - {\ boldsymbol {\ mu}} _ {0}) ^ {T}}$ ${\ displaystyle \ mathbf {\ bar {x}}}$ выборочное среднее ${\ Displaystyle \ mathbf {C} = \ сумма _ {я = 1} ^ {n} (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) ^ {T}}$	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; ковариационная матрица оценивалась по наблюдениям с выборочным средним и суммой произведений парных отклонений. ${\ displaystyle \ kappa _ {0}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$ ${\ displaystyle \ nu _ {0}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$ ${\ displaystyle {\ boldsymbol {\ Psi}} = \ nu _ {0} {\ boldsymbol {\ Sigma}} _ {0}}$	${\ displaystyle t _ {{\ nu _ {0}} '- p + 1} \ left ({\ tilde {\ mathbf {x}}} \| {{\ boldsymbol {\ mu}} _ {0}}', {\ frac {{\ kappa _ {0}} '+ 1} {{\ kappa _ {0}}' ({\ nu _ {0}} '- p + 1)}} {\ boldsymbol {\ Psi} }'\Правильно)}$
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Wishart	${\ displaystyle {\ boldsymbol {\ mu}} _ {0}, \, \ kappa _ {0}, \, \ nu _ {0}, \, \ mathbf {V}}$	${\ displaystyle {\ frac {\ kappa _ {0} {\ boldsymbol {\ mu}} _ {0} + n \ mathbf {\ bar {x}}} {\ kappa _ {0} + n}}, \ , \ kappa _ {0} + n, \, \ nu _ {0} + n, \,}$ ${\ displaystyle \ left (\ mathbf {V} ^ {- 1} + \ mathbf {C} + {\ frac {\ kappa _ {0} n} {\ kappa _ {0} + n}} (\ mathbf { \ bar {x}} - {\ boldsymbol {\ mu}} _ {0}) (\ mathbf {\ bar {x}} - {\ boldsymbol {\ mu}} _ {0}) ^ {T} \ right ) ^ {- 1}}$ ${\ displaystyle \ mathbf {\ bar {x}}}$ выборочное среднее ${\ Displaystyle \ mathbf {C} = \ сумма _ {я = 1} ^ {n} (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) ^ {T}}$	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; ковариационная матрица оценивалась по наблюдениям с выборочным средним и суммой произведений парных отклонений. ${\ displaystyle \ kappa _ {0}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$ ${\ displaystyle \ nu _ {0}}$ ${\ displaystyle {\ boldsymbol {\ mu}} _ {0}}$ ${\ displaystyle \ mathbf {V} ^ {- 1}}$	${\ displaystyle t _ {{\ nu _ {0}} '- p + 1} \ left ({\ tilde {\ mathbf {x}}} \ mid {{\ boldsymbol {\ mu}} _ {0}}) , {\ frac {{\ kappa _ {0}} '+ 1} {{\ kappa _ {0}}' ({\ nu _ {0}} '- p + 1)}} {\ mathbf {V} '} ^ {- 1} \ right)}$
Униформа	${\ Displaystyle U (0, \ theta) \!}$	Парето	${\ Displaystyle х_ {м}, \, к \!}$	${\ displaystyle \ max \ {\, x_ {1}, \ ldots, x_ {n}, x _ {\ mathrm {m}} \}, \, k + n \!}$	${\ displaystyle k}$ наблюдения с максимальным значением ${\ displaystyle x_ {m}}$
Парето с известным минимумом x _m	k (форма)	Гамма	${\ Displaystyle \ альфа, \, \ бета \!}$	${\ displaystyle \ alpha + n, \, \ beta + \ sum _ {i = 1} ^ {n} \ ln {\ frac {x_ {i}} {x _ {\ mathrm {m}}}} \!}$	${\ displaystyle \ alpha}$ наблюдения с суммой по порядку величины каждого наблюдения (т.е. логарифм отношения каждого наблюдения к минимуму ) ${\ displaystyle \ beta}$ ${\ displaystyle x_ {m}}$
Вейбулла с известной формой β	θ (масштаб)	Обратная гамма	${\ displaystyle a, b \!}$	${\ displaystyle a + n, \, b + \ sum _ {i = 1} ^ {n} x_ {i} ^ {\ beta} \!}$	${\ displaystyle a}$ Наблюдения с суммой в Р» й степени каждого наблюдения ${\ displaystyle b}$
Лог-нормальный	То же, что и для нормального распределения после применения натурального логарифма к данным для апостериорных гиперпараметров. Пожалуйста, обратитесь к Финку (1997 , стр. 21–22), чтобы узнать подробности.
Экспоненциальный	λ (ставка)	Гамма	${\ Displaystyle \ альфа, \, \ бета \!}$	${\ Displaystyle \ альфа + п, \, \ бета + \ сумма _ {я = 1} ^ {п} х_ {я} \!}$	${\ displaystyle \ alpha -1}$ наблюдения, которые в сумме ${\ displaystyle \ beta}$	${\ displaystyle \ operatorname {Lomax} ({\ tilde {x}} \ mid \ beta ', \ alpha')}$ ( Распределение Lomax )
Гамма с известной формой α	β (ставка)	Гамма	${\ displaystyle \ alpha _ {0}, \, \ beta _ {0} \!}$	${\ displaystyle \ alpha _ {0} + n \ alpha, \, \ beta _ {0} + \ sum _ {i = 1} ^ {n} x_ {i} \!}$	${\ displaystyle \ alpha _ {0} / \ alpha}$ наблюдения с суммой ${\ displaystyle \ beta _ {0}}$	${\ displaystyle \ operatorname {CG} ({\ tilde {\ mathbf {x}}} \ mid \ alpha, {\ alpha _ {0}} ', {\ beta _ {0}}') = \ operatorname {\ beta '} ({\ tilde {\ mathbf {x}}} \| \ alpha, {\ alpha _ {0}}', 1, {\ beta _ {0}} ')}$
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	${\ displaystyle \ alpha _ {0}, \, \ beta _ {0} \!}$	${\ displaystyle \ alpha _ {0} + n \ alpha, \, \ beta _ {0} + \ sum _ {i = 1} ^ {n} {\ frac {1} {x_ {i}}} \! }$	${\ displaystyle \ alpha _ {0} / \ alpha}$ наблюдения с суммой ${\ displaystyle \ beta _ {0}}$
Гамма с известной скоростью β	α (форма)	${\ Displaystyle \ propto {\ гидроразрыва {a ^ {\ alpha -1} \ beta ^ {\ alpha c}} {\ Gamma (\ alpha) ^ {b}}}}$	${\ Displaystyle а, \, б, \, с \!}$	${\ displaystyle a \ prod _ {i = 1} ^ {n} x_ {i}, \, b + n, \, c + n \!}$	${\ displaystyle b}$ или наблюдения ( для оценки , для оценки ) с продуктом ${\ displaystyle c}$ ${\ displaystyle b}$ ${\ displaystyle \ alpha}$ ${\ displaystyle c}$ ${\ displaystyle \ beta}$ ${\ displaystyle a}$
Гамма	α (форма), β (обратный масштаб)	${\ displaystyle \ propto {\ frac {p ^ {\ alpha -1} e ^ {- \ beta q}} {\ Gamma (\ alpha) ^ {r} \ beta ^ {- \ alpha s}}}}$	${\ Displaystyle р, \, д, \, г, \, с \!}$	${\ displaystyle p \ prod _ {i = 1} ^ {n} x_ {i}, \, q + \ sum _ {i = 1} ^ {n} x_ {i}, \, r + n, \, s + п \!}$	${\ displaystyle \ alpha}$ было оценено на основе наблюдений с продуктом ; оценивается по наблюдениям суммой ${\ displaystyle r}$ ${\ displaystyle p}$ ${\ displaystyle \ beta}$ ${\ displaystyle s}$ ${\ displaystyle q}$
Бета	α , β	${\ Displaystyle \ propto {\ гидроразрыва {\ Gamma (\ alpha + \ beta) ^ {k} \, p ^ {\ alpha} \, q ^ {\ beta}} {\ Gamma (\ alpha) ^ {k} \, \ Gamma (\ beta) ^ {k}}}}$	${\ Displaystyle р, \, д, \, к \!}$	${\ displaystyle p \ prod _ {i = 1} ^ {n} x_ {i}, \, q \ prod _ {i = 1} ^ {n} (1-x_ {i}), \, k + n \!}$	${\ displaystyle \ alpha}$ и были оценены на основе наблюдений с продуктом и продуктом дополнений ${\ displaystyle \ beta}$ ${\ displaystyle k}$ ${\ displaystyle p}$ ${\ displaystyle q}$