Джеффрис приор - Jeffreys prior

В байесовской вероятности , что Джеффрис предыдущий , названный в честь сэра Гарольд Джеффриса , является неинформативным (цель) априорное распределением для параметра пространства; его функция плотности пропорциональна квадратному корню из детерминанта части информации Фишера матрицы:

${\ displaystyle p \ left ({\ vec {\ theta}} \ right) \ propto {\ sqrt {\ det {\ mathcal {I}} \ left ({\ vec {\ theta}} \ right)}}. \,}$

Его главная особенность заключается в том, что он инвариантен при изменении координат вектора параметров . То есть относительная вероятность, присвоенная объему вероятностного пространства, использующему априор Джеффри, будет одинаковой независимо от параметризации, используемой для определения априорного значения Джеффри. Это делает его особенно интересным для использования с масштабными параметрами . ${\ displaystyle {\ vec {\ theta}}}$

Репараметризация

Однопараметрический случай

Если и являются двумя возможными параметризациями статистической модели, и является непрерывно дифференцируемой функцией от , мы говорим, что априор "инвариантен" относительно репараметризации, если ${\ displaystyle \ theta}$${\ displaystyle \ varphi}$${\ displaystyle \ theta}$${\ displaystyle \ varphi}$${\ Displaystyle п _ {\ тета} (\ тета)}$

${\ displaystyle p _ {\ varphi} (\ varphi) = p _ {\ theta} (\ theta) \ left | {\ frac {d \ theta} {d \ varphi}} \ right |,}$

то есть, если априорные значения и связаны обычной теоремой о замене переменных . ${\ Displaystyle п _ {\ тета} (\ тета)}$${\ Displaystyle п _ {\ varphi} (\ varphi)}$

Поскольку информация Фишера трансформируется при репараметризации как

${\ Displaystyle I _ {\ varphi} (\ varphi) = I _ {\ theta} (\ theta) \ left ({\ frac {d \ theta} {d \ varphi}} \ right) ^ {2},}$

определение априорных значений как и дает нам желаемую «инвариантность». ${\ displaystyle p _ {\ varphi} (\ varphi) \ propto {\ sqrt {I _ {\ varphi} (\ varphi)}}}$${\ displaystyle p _ {\ theta} (\ theta) \ propto {\ sqrt {I _ {\ theta} (\ theta)}}}$

Случай с несколькими параметрами

Аналогично однопараметрическому случаю, пусть и - две возможные параметризации статистической модели с непрерывно дифференцируемой функцией от . Мы называем априор «инвариантом» при репараметризации, если ${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ varphi}}}$${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ varphi}}}$${\ displaystyle p _ {\ theta} ({\ vec {\ theta}})}$

${\ displaystyle p _ {\ varphi} ({\ vec {\ varphi}}) = p _ {\ theta} ({\ vec {\ theta}}) \ det J,}$

где - матрица Якоби с элементами ${\ displaystyle J}$

${\ displaystyle J_ {ij} = {\ frac {\ partial \ theta _ {i}} {\ partial \ varphi _ {j}}}.}$

Поскольку информационная матрица Фишера при перепараметризации преобразуется как

${\ displaystyle I _ {\ varphi} ({\ vec {\ varphi}}) = J ^ {T} I _ {\ theta} ({\ vec {\ theta}}) J,}$

у нас есть это

${\ Displaystyle \ Det I _ {\ varphi} (\ varphi) = \ Det I _ {\ theta} (\ theta) (\ det J) ^ {2}}$

и, таким образом, определение априорных значений как и дает нам желаемую «инвариантность». ${\ displaystyle p _ {\ varphi} ({\ vec {\ varphi}}) \ propto {\ sqrt {\ det I _ {\ varphi} ({\ vec {\ varphi}})}}}$${\ displaystyle p _ {\ theta} ({\ vec {\ theta}}) \ propto {\ sqrt {\ det I _ {\ theta} ({\ vec {\ theta}})}}}$

Атрибуты

С практической и математической точки зрения веская причина для использования этого неинформативного априорного значения вместо других, подобных тем, которые получены с помощью предела в сопряженных семействах распределений, заключается в том, что относительная вероятность объема вероятностного пространства не зависит от набор переменных параметров, выбранный для описания пространства параметров.

Иногда априор Джеффри не может быть нормализован и, следовательно, является неправильным априорном . Например, априор Джеффриса для среднего распределения однороден по всей действительной прямой в случае гауссовского распределения с известной дисперсией.

Использование априорной теории Джеффриса нарушает строгую версию принципа правдоподобия , которая принимается многими, но далеко не всеми статистиками. При использовании априорной теории Джеффриса выводы о зависимости зависят не только от вероятности наблюдаемых данных как функции , но также и от совокупности всех возможных экспериментальных результатов, как это определено планом эксперимента, поскольку информация Фишера вычисляется из математического ожидания. над выбранной вселенной. Соответственно, априор Джеффриса и, следовательно, выводы, сделанные с его помощью, могут быть разными для двух экспериментов с одним и тем же параметром, даже если функции правдоподобия для этих двух экспериментов одинаковы - нарушение принципа сильного правдоподобия. ${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ theta}}}$

Минимальная длина описания

В подходе к статистике с минимальной длиной описания цель состоит в том, чтобы описать данные как можно более компактно, когда длина описания измеряется в битах используемого кода. Для параметрического семейства распределений сравнивают код с лучшим кодом на основе одного из распределений в параметризованном семействе. Главный результат состоит в том, что в экспоненциальных семействах , асимптотически для большого размера выборки, оптимальным является код, основанный на распределении, которое представляет собой смесь элементов в экспоненциальном семействе с априорным методом Джеффри. Этот результат сохраняется, если ограничить набор параметров компактным подмножеством внутри полного пространства параметров. Если используется полный параметр, должна использоваться измененная версия результата.

Примеры

Априор Джеффриса для параметра (или набора параметров) зависит от статистической модели.

Гауссово распределение со средним параметром

Для гауссова распределения действительного значения${\ displaystyle x}$

${\ Displaystyle е (х \ мид \ му) = {\ гидроразрыва {е ^ {- (х- \ му) ^ {2} / 2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}}}$

с фиксированными, то Джеффрис перед для среднего является ${\ displaystyle \ sigma}$${\ displaystyle \ mu}$

${\ displaystyle {\ begin {align} p (\ mu) & \ propto {\ sqrt {I (\ mu)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ mu}} \ log f (x \ mid \ mu) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {x- \ mu} {\ sigma ^ {2}}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} f (x \ mid \ mu) \ left ({\ frac {x- \ mu} {\ sigma ^ {2}}} \ right) ^ {2} dx}} = {\ sqrt {1 / \ sigma ^ { 2}}} \ propto 1. \ end {align}}}$

То есть, приоритет Джеффри не зависит от ; это ненормализованное равномерное распределение на реальной прямой - распределение, равное 1 (или некоторой другой фиксированной константе) для всех точек. Это несоответствующий априор и до выбора константы уникальное трансляционно- инвариантное распределение для вещественных чисел ( мера Хаара относительно сложения вещественных чисел), соответствующее среднему значению, являющемуся мерой местоположения и трансляционной инвариантности. соответствует отсутствию информации о местонахождении. ${\ displaystyle \ mu}$${\ displaystyle \ mu}$

Гауссово распределение с параметром стандартного отклонения

Для гауссова распределения действительного значения${\ displaystyle x}$

${\ Displaystyle е (х \ мид \ сигма) = {\ гидроразрыва {е ^ {- (х- \ му) ^ {2} / 2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}},}$

с фиксированным, априор Джеффри для стандартного отклонения равен ${\ displaystyle \ mu}$${\ displaystyle \ sigma> 0}$

${\ displaystyle {\ begin {align} p (\ sigma) & \ propto {\ sqrt {I (\ sigma)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ sigma}} \ log f (x \ mid \ sigma) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {(x- \ mu) ^ {2} - \ sigma ^ {2}} {\ sigma ^ {3}}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} f (x \ mid \ sigma) \ left ({\ frac {(x- \ mu) ^ {2} - \ sigma ^ {2}} {\ sigma ^ {3}}} \ right) ^ {2} dx}} = {\ sqrt {\ frac {2} {\ sigma ^ {2}}}} \ propto {\ frac {1} {\ sigma}}. \ конец {выровнен}}}$

Эквивалентно, априор Джеффри - ненормализованное равномерное распределение на реальной прямой, и поэтому это распределение также известно как${\ textstyle \ журнал \ sigma = \ int d \ sigma / \ sigma}$ логарифмический априор . Точно так же априор Джеффритакже является единообразным. Это единственный (с точностью до нескольких) априор (для положительных вещественных чисел), который являетсямасштабно-инвариантным (мера Хаараотносительно умножения положительных вещественных чисел), что соответствует стандартному отклонению, являющемуся мероймасштабаи масштабной инвариантности, соответствующей нет информации о масштабе. Как и в случае с равномерным распределением реалов, этонеправильный априор. ${\ Displaystyle \ журнал \ сигма ^ {2} = 2 \ журнал \ сигма}$

Распределение Пуассона с параметром скорости

Для распределения Пуассона из неотрицательного целого числа , ${\ displaystyle n}$

${\ Displaystyle е (п \ середина \ лямбда) = е ^ {- \ лямбда} {\ гидроразрыва {\ лямбда ^ {п}} {п!}},}$

в Джеффреис до для параметра скорости является ${\ displaystyle \ lambda \ geq 0}$

${\ displaystyle {\ begin {align} p (\ lambda) & \ propto {\ sqrt {I (\ lambda)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ lambda}} \ log f (n \ mid \ lambda) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {n- \ lambda} {\ lambda}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ sum _ {n = 0} ^ {+ \ infty} f (n \ mid \ lambda) \ left ({\ frac {n- \ lambda} {\ lambda}} \ right) ^ {2}}} = {\ sqrt {\ frac {1} {\ lambda}}}. \ end { выровнено}}}$

Эквивалентно, априор Джеффри - ненормализованное равномерное распределение на неотрицательной действительной прямой. ${\ textstyle {\ sqrt {\ lambda}} = \ int d \ lambda / {\ sqrt {\ lambda}}}$

Бернулли суд

Для монеты, которая с вероятностью «решка» и «решка» с вероятностью , для данного случая вероятность равна . Априор Джеффри для параметра равен ${\ Displaystyle \ гамма \ в [0,1]}$${\ displaystyle 1- \ gamma}$${\ Displaystyle (ЧАС, Т) \ в \ {(0,1), (1,0) \}}$${\ Displaystyle \ гамма ^ {Н} (1- \ гамма) ^ {Т}}$${\ displaystyle \ gamma}$

${\ displaystyle {\ begin {align} p (\ gamma) & \ propto {\ sqrt {I (\ gamma)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ gamma}} \ log f (x \ mid \ gamma) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {H} {\ gamma}} - {\ frac {T} {1- \ gamma}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ gamma \ left ({\ frac {1} {\ gamma}} - {\ frac {0} {1- \ gamma}} \ right) ^ {2} + (1- \ gamma) \ left ({\ frac {0} {\ gamma} } - {\ frac {1} {1- \ gamma}} \ right) ^ {2}}} = {\ frac {1} {\ sqrt {\ gamma (1- \ gamma)}}} \,. \ конец {выровнен}}}$

Это распределение арксинуса и бета-распределение с расширением . Кроме того, если тогда ${\ Displaystyle \ альфа = \ бета = 1/2}$${\ Displaystyle \ гамма = \ грех ^ {2} (\ тета)}$

${\ Displaystyle \ Pr [\ theta] = \ Pr [\ gamma] {\ frac {d \ gamma} {d \ theta}} \ propto {\ frac {1} {\ sqrt {(\ sin ^ {2} \ theta) (1- \ sin ^ {2} \ theta)}}} ~ 2 \ sin \ theta \ cos \ theta = 2 \ ,.}$

То есть, априор Джеффри одинаков в интервале . Эквивалентно равномерно по всему кругу . ${\ displaystyle \ theta}$${\ displaystyle [0, \ pi / 2]}$${\ displaystyle \ theta}$${\ displaystyle [0,2 \ pi]}$

N- сторонняя матрица со смещенными вероятностями

Точно так же для броска односторонней кости с вероятностями исхода , каждая из которых неотрицательна и удовлетворительна , априор Джеффри представляет собой распределение Дирихле со всеми (альфа) параметрами, равными половине. Это равносильно использованию псевдосчета, равного половине для каждого возможного исхода. ${\ displaystyle N}$${\ Displaystyle {\ vec {\ gamma}} = (\ gamma _ {1}, \ ldots, \ gamma _ {N})}$${\ Displaystyle \ сумма _ {я = 1} ^ {N} \ гамма _ {я} = 1}$${\ displaystyle {\ vec {\ gamma}}}$

Эквивалентно, если мы пишем для каждого , то априор Джеффри для однороден на ( N  - 1) -мерной единичной сфере ( т.е. он однороден на поверхности N -мерного единичного шара ). ${\ Displaystyle \ гамма _ {я} = \ varphi _ {я} ^ {2}}$${\ displaystyle i}$${\ displaystyle {\ vec {\ varphi}}}$

использованная литература

дальнейшее чтение

• Джеффрис, Х. (1946). «Инвариантная форма для априорной вероятности в задачах оценивания» . Труды Лондонского королевского общества. Серия А, Математические и физические науки . 186 (1007): 453–461. DOI : 10,1098 / rspa.1946.0056 . JSTOR  97883 . PMID  20998741 .
• Джеффрис, Х. (1939). Теория вероятностей . Издательство Оксфордского университета.
• Касс, Роберт Э .; Вассерман, Ларри (1996). «Выбор предварительных распределений по формальным правилам». Журнал Американской статистической ассоциации . 91 (435): 1343–1370. DOI : 10.1080 / 01621459.1996.10477003 .