Байесовская оценка - Bayes estimator

В теории оценивания и теории принятия решений , в Байесе оценивани или действие Байеса является оценщиком или решающее правило , которое минимизирует задний ожидаемая величину в виде функции потерь (то есть, задний ожидаемый убыток ). Точно так же он максимизирует апостериорное ожидание функции полезности . Альтернативный способ формулирования оценки в рамках байесовской статистики - это максимальная апостериорная оценка .

Определение

Предположим, что известно, что неизвестный параметр имеет предварительное распределение . Позвольте быть оценкой (на основе некоторых измерений x ), и пусть будет функцией потерь , такой как квадрат ошибки. Байесовский риск из определяются как , где математическое ожидание берется по распределению вероятностей : это определяет функцию риски в зависимости . Оценщик называется байесовским оценщиком, если он минимизирует байесовский риск среди всех оценщиков. Эквивалентно, оценщик, который минимизирует апостериорные ожидаемые потери для каждого из них, также минимизирует байесовский риск и, следовательно, является байесовским оценщиком.

Если априорная оценка является неправильной, то оценка, которая минимизирует апостериорные ожидаемые потери для каждого из них, называется обобщенной байесовской оценкой .

Примеры

Оценка минимальной среднеквадратичной ошибки

Наиболее распространенной функцией риска, используемой для байесовской оценки, является среднеквадратичная ошибка (MSE), также называемая квадратом риска ошибки . MSE определяется

где математическое ожидание берется за совместное распределение и .

Заднее среднее

Используя MSE в качестве риска, байесовская оценка неизвестного параметра представляет собой просто среднее значение апостериорного распределения ,

Это известно как средство оценки минимальной среднеквадратичной ошибки (MMSE).

Байесовские оценки для сопряженных априорных вероятностей

Если нет причин предпочитать одно априорное распределение вероятностей другому, для простоты иногда выбирают сопряженное априорное распределение . Сопряженное априорное распределение определяется как априорное распределение, принадлежащее некоторому параметрическому семейству , для которого результирующее апостериорное распределение также принадлежит к тому же семейству. Это важное свойство, поскольку байесовская оценка, а также ее статистические свойства (дисперсия, доверительный интервал и т. Д.) Могут быть получены из апостериорного распределения.

Сопряженные априорные значения особенно полезны для последовательной оценки, когда апостериор текущего измерения используется как апостериор в следующем измерении. При последовательной оценке, если не используется сопряженное априорное распределение, апостериорное распределение обычно становится более сложным с каждым добавленным измерением, и байесовская оценка обычно не может быть вычислена без использования численных методов.

Ниже приведены некоторые примеры сопряженных априорных чисел.

  • Если это Нормально , и априорное значение является нормальным, то апостериорное значение также является Нормальным, и байесовская оценка при MSE определяется выражением
  • Если это iid пуассоновские случайные величины , и если априорное распределение имеет гамма-распределение , то апостериорное также является гамма-распределенным, а байесовская оценка при MSE определяется выражением
  • Если они распределены равномерно , и если априорное распределение распределено по Парето , то апостериорное распределение также распределено по Парето, и байесовская оценка при MSE определяется выражением

Альтернативные функции риска

Функции риска выбираются в зависимости от того, как измеряется расстояние между оценкой и неизвестным параметром. MSE - наиболее часто используемая функция управления рисками, в первую очередь из-за ее простоты. Однако иногда используются альтернативные функции риска. Ниже приводится несколько примеров таких альтернатив. Обозначим апостериорную обобщенную функцию распределения через .

Задняя медиана и другие квантили

  • «Линейная» функция потерь с , которая дает апостериорную медиану как оценку Байеса:
  • Еще одна «линейная» функция потерь, которая присваивает разные «веса» дополнительной или дополнительной оценке. Он дает квантиль из апостериорного распределения и является обобщением предыдущей функции потерь:

Задний режим

  • Следующая функция потерь более сложна: она дает либо апостериорную моду , либо точку, близкую к ней, в зависимости от кривизны и свойств апостериорного распределения. Рекомендуются небольшие значения параметра , чтобы использовать режим в качестве приближения ( ):

Можно придумать и другие функции потерь, хотя среднеквадратичная ошибка является наиболее широко используемой и проверенной. Другие функции потерь используются в статистике, особенно в надежной статистике .

Обобщенные байесовские оценки

До сих пор предполагалось, что априорное распределение является истинным распределением вероятностей в том смысле, что

Однако иногда это может быть ограничительным требованием. Например, не существует распределения (охватывающего множество R всех действительных чисел), для которого каждое действительное число одинаково вероятно. Тем не менее, в некотором смысле такое «распределение» кажется естественным выбором для неинформативного априорного распределения, то есть априорного распределения, которое не подразумевает предпочтения какого-либо конкретного значения неизвестного параметра. Можно еще определить функцию , но это не будет правильным распределением вероятностей, поскольку оно имеет бесконечную массу,

Такие меры , которые не являются распределениями вероятностей, называются неправильными априорными значениями .

Использование неправильного априорного значения означает, что байесовский риск не определен (поскольку априорный результат не является вероятностным распределением, и мы не можем принять за него математическое ожидание). Как следствие, бессмысленно говорить о байесовской оценке, которая минимизирует байесовский риск. Тем не менее во многих случаях можно определить апостериорное распределение

Это определение, а не приложение теоремы Байеса , поскольку теорема Байеса может применяться только тогда, когда все распределения являются правильными. Однако нередко полученное «апостериорное» распределение является допустимым распределением вероятностей. В этом случае апостериорный ожидаемый убыток

обычно четко определен и конечен. Напомним, что для правильного априорного значения байесовская оценка минимизирует апостериорные ожидаемые потери. Когда априорная оценка является неправильной, оценщик, который минимизирует апостериорные ожидаемые потери, называется обобщенной байесовской оценкой .

Пример

Типичный пример - оценка параметра местоположения с функцией потерь типа . Вот это параметр местоположения, то есть .

В этом случае обычно используется неправильный априор , особенно когда нет другой более субъективной информации. Это дает

так что апостериорная ожидаемая потеря

Обобщенная байесовская оценка - это значение, которое минимизирует это выражение для данного . Это эквивалентно минимизации

для данного         (1)

В этом случае можно показать, что обобщенная байесовская оценка имеет вид для некоторой константы . Чтобы увидеть это, позвольте быть значением, минимизирующим (1), когда . Затем, учитывая другое значение , мы должны минимизировать

        (2)

Это идентично (1), за исключением того, что было заменено на . Таким образом, выражение, минимизирующее, имеет вид , так что оптимальная оценка имеет вид

Эмпирические байесовские оценки

Байесовская оценка, полученная с помощью эмпирического байесовского метода , называется эмпирической байесовской оценкой . Эмпирические байесовские методы позволяют использовать вспомогательные эмпирические данные из наблюдений за соответствующими параметрами при разработке байесовской оценки. Это делается в предположении, что оценочные параметры получены из общей априорной точки. Например, если выполняются независимые наблюдения различных параметров, то эффективность оценки конкретного параметра иногда может быть улучшена за счет использования данных из других наблюдений.

Существуют параметрические и непараметрические подходы к эмпирическому байесовскому оцениванию. Параметрический эмпирический байесовский метод обычно предпочтительнее, поскольку он более применим и более точен на небольших объемах данных.

Пример

Ниже приводится простой пример параметрического эмпирического байесовского оценивания. Учитывая прошлые наблюдения, имеющие условное распределение , каждый заинтересован в оценке на основе . Предположим, что у них есть общий априор, который зависит от неизвестных параметров. Например, предположим, что это нормально с неизвестным средним значением и дисперсией. Затем мы можем использовать прошлые наблюдения для определения среднего и дисперсии следующим образом.

Во-первых, мы оцениваем среднее значение и дисперсию маржинального распределения с использованием подхода максимального правдоподобия :

Затем мы используем закон общего ожидания для вычисления и закон полной дисперсии для вычисления , так что

где и - моменты условного распределения , которые считаются известными. В частности, предположим, что и то ; тогда у нас есть

Наконец, мы получаем оценочные моменты априорной,

Например, если и если мы предполагаем нормальное априорное значение (которое в данном случае является сопряженным априорным), мы заключаем, что , исходя из которого может быть вычислена байесовская оценка, основанная на .

Характеристики

Допустимость

Обычно допустимы правила Байеса с конечным байесовским риском . Ниже приведены некоторые конкретные примеры теорем о допустимости.

  • Если правило Байеса уникально, оно допустимо. Например, как указано выше, при среднеквадратичной ошибке (MSE) правило Байеса является уникальным и, следовательно, допустимым.
  • Если θ принадлежит дискретному множеству , то допустимы все правила Байеса.
  • Если θ принадлежит непрерывному (недискретному) множеству и если функция риска R (θ, δ) непрерывна по θ для любого δ, то все правила Байеса допустимы.

Напротив, обобщенные правила Байеса часто имеют неопределенный риск Байеса в случае неправильных априорных значений. Эти правила часто недопустимы, и проверка их допустимости может быть затруднена. Например, обобщенная байесовская оценка параметра местоположения θ на основе гауссовых выборок (описанная выше в разделе «Обобщенная байесовская оценка») недопустима для ; это известно как феномен Штейна .

Асимптотическая эффективность

Пусть θ - неизвестная случайная величина, и предположим, что это iid выборки с плотностью . Позвольте быть последовательность байесовских оценок θ на основе увеличивающегося числа измерений. Нас интересует анализ асимптотической производительности этой последовательности оценок, т. Е. Производительности при больших n .

С этой целью принято рассматривать θ как детерминированный параметр, истинное значение которого равно . В определенных условиях для больших выборок (большие значения n ) апостериорная плотность θ приблизительно нормальна. Другими словами, для больших n влияние априорной вероятности на апостериорную вероятность незначительно. Более того, если δ - оценка Байеса при риске MSE, то она асимптотически несмещена и сходится по распределению к нормальному распределению :

где I0 ) - информация рыбака для θ 0 . Отсюда следует, что байесовская оценка δ n при MSE асимптотически эффективна .

Другой оценщик, который является асимптотически нормальным и эффективным, - это оценщик максимального правдоподобия (MLE). Связь между оценками максимального правдоподобия и байесовскими оценками можно показать на следующем простом примере.

Пример: оценка p в биномиальном распределении

Рассмотрим оценку θ на основе биномиальной выборки x ~ b (θ, n ), где θ обозначает вероятность успеха. Предполагая, что θ распределяется согласно сопряженному априорному распределению, которое в данном случае является бета-распределением B ( a , b ), апостериорное распределение известно как B (a + x, b + nx). Таким образом, байесовская оценка при MSE равна

MLE в этом случае - x / n, и поэтому мы получаем,

Последнее уравнение означает, что при n → ∞ байесовская оценка (в описанной задаче) близка к MLE.

С другой стороны, когда n мало, априорная информация все еще актуальна для проблемы решения и влияет на оценку. Чтобы увидеть относительный вес априорной информации, предположим, что a = b ; в этом случае каждое измерение приносит 1 новый бит информации; приведенная выше формула показывает, что предыдущая информация имеет тот же вес, что и биты a + b новой информации. В приложениях часто очень мало известно о мелких деталях предшествующего распределения; в частности, нет оснований предполагать, что он в точности совпадает с B ( a , b ). В таком случае одна из возможных интерпретаций этого расчета: «существует априорное непатологическое распределение со средним значением 0,5 и стандартным отклонением d, которое дает вес априорной информации, равный 1 / (4 d 2 ) -1. кусочки новой информации ".

Другой пример того же явления - случай, когда априорная оценка и измерение имеют нормальное распределение. Если априорное значение центрируется в точке B с отклонением Σ, а измерение сосредоточено в точке b с отклонением σ, то апостериорная оценка центрируется в точке с весами в этом средневзвешенном значении, равными α = σ², β = Σ². Кроме того, квадрат апостериорного отклонения равен Σ² + σ². Другими словами, предварительное измерение сочетается с измерением точно так же, как если бы оно было дополнительным измерением, которое необходимо принять во внимание.

Например, если Σ = σ / 2, то отклонение четырех объединенных измерений совпадает с отклонением предыдущего (при условии, что ошибки измерений независимы). И веса α, β в формуле для апостериорного анализа соответствуют этому: вес предшествующего в 4 раза больше веса измерения. Комбинируя это предварительное измерение с n измерениями со средним значением v, получаем задний центр с центром в точке ; в частности, предварительная проверка играет ту же роль, что и 4 заранее выполненных измерения. Как правило, приор имеет вес (σ / Σ) ² измерений.

Сравните с примером биномиального распределения: там априор имеет вес (σ / Σ) ² − 1 измерений. Можно видеть, что точный вес действительно зависит от деталей распределения, но когда σ≫Σ, разница становится небольшой.

Практический пример байесовских оценок

База данных Internet Movie использует формулу для вычисления и сравнения рейтинги фильмов его пользователями, в том числе их Лучшие 250 заглавий , которые испрашивается дать «истинную байесовской оценки». Следующая байесовская формула изначально использовалась для расчета средневзвешенного балла для 250 лучших, хотя с тех пор формула изменилась:

куда:

= взвешенный рейтинг
= средний рейтинг фильма в виде числа от 1 до 10 (средний) = (Рейтинг)
= количество голосов / оценок за фильм = (голосов)
= вес, присвоенный предыдущей оценке (в данном случае количество голосов, которое IMDB считает необходимым для приближения средней оценки к статистической достоверности)
= средний голос по всему пулу (в настоящее время 7.0)

Обратите внимание , что W представляет только взвешенное среднее арифметическое из R и C с весом вектора (V, м) . Поскольку количество оценок превышает m , достоверность среднего рейтинга превосходит доверие среднего голоса для всех фильмов (C), а взвешенный байесовский рейтинг (W) приближается к прямому среднему (R). Чем ближе v (количество оценок фильма) к нулю, тем ближе W к C , где W - взвешенный рейтинг, а C - средний рейтинг всех фильмов. Таким образом, проще говоря, чем меньше оценок / голосов отдано фильму, тем больше взвешенный рейтинг этого фильма будет отклоняться от среднего по всем фильмам, в то время как фильмы с большим количеством оценок / голосов будут иметь рейтинг, приближающийся к его чистому среднему арифметическому рейтингу.

Подход IMDb гарантирует, что фильм с несколькими рейтингами, все из которых составляет 10, не окажется выше «Крестного отца», например, со средним значением 9,2 из более чем 500 000 оценок.

Смотрите также

Примечания

использованная литература

внешние ссылки