Теорема Байеса - Bayes' theorem

Синий неоновый знак, показывающий простую формулировку теоремы Байеса

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятностный подход
Техники
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В теории вероятностей и статистике , теорема Байеса ( в качестве альтернативы Байеса закона или правило Байеса , недавно теорема Байеса котировки ), названной в честь Томаса Байеса , описывает вероятность в качестве события , на основе предварительного знания условий , которые могут быть связаны с мероприятие. Например, если известно, что риск развития проблем со здоровьем увеличивается с возрастом, теорема Байеса позволяет более точно оценить риск для человека известного возраста (обусловив его возрастом), чем просто допуская, что этот человек типичен для населения в целом.

Одно из многих приложений теоремы Байеса - это байесовский вывод , особый подход к статистическому выводу . При применении вероятности, включенные в теорему, могут иметь разные вероятностные интерпретации . С байесовской вероятностной интерпретацией теорема выражает, как степень веры, выраженная как вероятность, должна рационально измениться, чтобы учесть доступность связанных свидетельств. Байесовский вывод является фундаментальным для байесовской статистики .

Формулировка теоремы

Теорема Байеса математически формулируется в виде следующего уравнения:

где и находятся события и . ${\ displaystyle A}$${\ displaystyle B}$${\ Displaystyle P (B) \ neq 0}$

• ${\ displaystyle P (A \ mid B)}$является условной вероятностью : вероятность наступления события при условии, что оно истинно. Он также называется апостериорной вероятностью на данный .${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle A}$${\ displaystyle B}$
• ${\ displaystyle P (B \ mid A)}$также является условной вероятностью: вероятность наступления события при условии, что оно истинно. Она также может быть интерпретирована как вероятность в данном фиксированных потому .${\ displaystyle B}$${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$${\ Displaystyle P (B \ mid A) = L (A \ mid B)}$
• ${\ Displaystyle P (A)}$и - вероятности наблюдения и, соответственно, без каких-либо заданных условий; они известны как предельная вероятность или априорная вероятность .${\ Displaystyle P (B)}$${\ displaystyle A}$${\ displaystyle B}$
• ${\ displaystyle A}$и должны быть разные события.${\ displaystyle B}$

Доказательство

Для мероприятий

Теорема Байеса может быть получена из определения условной вероятности :

${\ Displaystyle P (A \ mid B) = {\ гидроразрыва {P (A \ cap B)} {P (B)}}, {\ text {if}} P (B) \ neq 0,}$

где - вероятность того, что A и B верны. Сходным образом, ${\ displaystyle P (A \ cap B)}$

${\ Displaystyle P (B \ mid A) = {\ гидроразрыва {P (A \ cap B)} {P (A)}}, {\ text {if}} P (A) \ neq 0,}$

Решение и замена в приведенное выше выражение дает теорему Байеса: ${\ displaystyle P (A \ cap B)}$${\ displaystyle P (A \ mid B)}$

${\ Displaystyle P (A \ mid B) = {\ гидроразрыва {P (B \ mid A) P (A)} {P (B)}}, {\ text {if}} P (B) \ neq 0. }$

Для непрерывных случайных величин

Для двух непрерывных случайных величин X и Y теорема Байеса может быть аналогичным образом выведена из определения условной плотности :

${\ displaystyle f_ {X \ mid Y = y} (x) = {\ frac {f_ {X, Y} (x, y)} {f_ {Y} (y)}}}$

${\ displaystyle f_ {Y \ mid X = x} (y) = {\ frac {f_ {X, Y} (x, y)} {f_ {X} (x)}}}$

Следовательно,

${\ displaystyle f_ {X \ mid Y = y} (x) = {\ frac {f_ {Y \ mid X = x} (y) f_ {X} (x)} {f_ {Y} (y)}} .}$

Примеры

Тестирование на наркотики

Рисунок 1. Использование частотного поля для визуального отображения путем сравнения областей${\ displaystyle P ({\ text {User}} \ mid {\ text {Positive}})}$

Предположим, конкретный тест на то, употреблял ли кто-то каннабис, чувствителен на 90% , что означает истинно положительный коэффициент (TPR) = 0,90. Таким образом, он дает 90% истинно положительных результатов (правильное определение употребления наркотиков) для потребителей каннабиса.

Тест также имеет 80% -ную специфичность , что означает истинно отрицательный показатель (TNR) = 0,80. Таким образом, тест правильно определяет 80% случаев неиспользования для непользователей, но также генерирует 20% ложных срабатываний или процент ложных срабатываний (FPR) = 0,20 для непользователей.

Предполагая распространенность 0,05 , то есть 5% людей употребляют каннабис, какова вероятность того, что случайный человек с положительным результатом теста действительно употребляет каннабис?

Прогностическое значение Positive (PPV) тест является долей лиц , которые на самом деле положительным из всех тех , положительного результата теста, и может быть вычислено из образца , как:

PPV = истинно положительный результат / положительный результат теста

Если чувствительность, специфичность и распространенность известны, PPV можно рассчитать с помощью теоремы Байеса. Позвольте означать «вероятность того, что кто-то употребляет каннабис, учитывая положительный результат теста», что означает PPV. Мы можем написать: ${\ displaystyle P ({\ text {User}} \ mid {\ text {Positive}})}$

${\ displaystyle {\ begin {align} P ({\ text {User}} \ mid {\ text {Positive}}) & = {\ frac {P ({\ text {Positive}} \ mid {\ text {User }}) P ({\ text {User}})} {P ({\ text {Positive}})}} \\ & = {\ frac {P ({\ text {Positive}} \ mid {\ text { Пользователь}}) P ({\ text {User}})} {P ({\ text {Positive}} \ mid {\ text {User}}) P ({\ text {User}}) + P ({\ text {Positive}} \ mid {\ text {Non-user}}) P ({\ text {Non-user}})}} \\ [8pt] & = {\ frac {0.90 \ times 0.05} {0.90 \ раз 0,05 + 0,20 \ раз 0,95}} = {\ frac {0,045} {0,045 + 0,19}} \ приблизительно 19 \% \ конец {выровнено}}}$

Дело в том, что это прямое применение Закона полной вероятности . В этом случае он говорит, что вероятность того, что кто-то тестирует положительный результат, - это вероятность того, что пользователь тестирует положительный результат, умноженная на вероятность того, что он является пользователем, плюс вероятность того, что тест, не являющийся пользователем, будет положительным, умноженная на вероятность того, что он не является пользователем. . Это верно, потому что пользователь и не пользователь классификаций образуют раздел набора , а именно группы людей, которые проходят тест на наркотики. Это в сочетании с определением условной вероятности приводит к приведенному выше утверждению. ${\ displaystyle P ({\ text {Positive}}) = P ({\ text {Positive}} \ mid {\ text {User}}) P ({\ text {User}}) + P ({\ text { Положительно}} \ mid {\ text {Не для пользователя}}) P ({\ text {Не для пользователя}})}$

Другими словами, даже если кто-то дал положительный результат, вероятность того, что он употребляет каннабис, составляет всего 19% - это потому, что в этой группе только 5% людей являются пользователями, а большинство положительных результатов - это ложные срабатывания, полученные от оставшихся 95%. .

Если было протестировано 1000 человек:

• 950 не являются пользователями, и 190 из них дают ложное срабатывание (0,20 × 950)
• 50 из них являются пользователями, а 45 из них дают истинно положительный результат (0,90 × 50)

Таким образом, 1000 человек дают 235 положительных тестов, из которых только 45 являются настоящими потребителями наркотиков, что составляет около 19%. См. Рисунок 1 для иллюстрации с использованием поля частоты и обратите внимание, насколько мала розовая область истинных положительных результатов по сравнению с синей областью ложных срабатываний.

Чувствительность или специфичность

Важность специфичности можно увидеть, продемонстрировав, что даже если чувствительность повышается до 100%, а специфичность остается на уровне 80%, вероятность того, что кто-то даст положительный результат, действительно будет употреблять каннабис, возрастает только с 19% до 21%, но если чувствительность составляет удерживается на уровне 90%, а специфичность увеличивается до 95%, вероятность возрастает до 49%.

Частота рака

Даже если у 100% пациентов с раком поджелудочной железы есть определенный симптом, когда у кого-то есть такой же симптом, это не означает, что у этого человека есть 100% шанс заболеть раком поджелудочной железы. Предположим, что уровень заболеваемости раком поджелудочной железы составляет 1/100000, в то время как 10/100000 здоровых людей имеют одинаковые симптомы во всем мире, вероятность рака поджелудочной железы с учетом симптомов составляет всего 9,1%, а остальные 90,9% могут быть «ложноположительными» ( ложно сказано, что у него рак; термин «положительный» сбивает с толку, когда, как здесь, тест дает плохие новости).

В следующей таблице представлены соответствующие цифры на 100 000 человек, основанные на уровне заболеваемости.

Что затем можно использовать для расчета вероятности заболевания раком при наличии следующих симптомов:

${\ displaystyle {\ begin {align} P ({\ text {Рак}} | {\ text {Симптомы}}) & = {\ frac {P ({\ text {Симптомы}} | {\ text {Рак}}) ) P ({\ text {Рак}})} {P ({\ text {Симптомы}})}} \\ & = {\ frac {P ({\ text {Симптомы}} | {\ text {Рак}} ) P ({\ text {Рак}})} {P ({\ text {Симптомы}} | {\ text {Рак}}) P ({\ text {Рак}}) + P ({\ text {Симптомы} } | {\ text {Non-Cancer}}) P ({\ text {Non-Cancer}})}} \\ [8pt] & = {\ frac {1 \ times 0.00001} {1 \ times 0.00001+ (10 / 99999) \ times 0,99999}} = {\ frac {1} {11}} \ приблизительно 9,1 \% \ end {align}}}$

Дефектная позиция

Фабрика производит изделие, используя три машины - A, B и C, на которые приходится 20%, 30% и 50% продукции соответственно. Из изделий, произведенных машиной А, 5% являются дефектными; аналогично, 3% деталей машины B и 1% машин C неисправны. Если случайно выбранный элемент неисправен, какова вероятность, что он был произведен машиной C?

И снова ответ может быть получен без использования формулы, применяя условия к гипотетическому количеству случаев. Например, если фабрика производит 1000 единиц, 200 из них будут произведены машиной A, 300 - машиной B и 500 - машиной C. Машина A произведет 5% × 200 = 10 дефектных изделий, машина B 3% × 300 = 9 , и машина C 1% × 500 = 5, всего 24. Таким образом, вероятность того, что случайно выбранный дефектный элемент был произведен машиной C, составляет 5/24 (~ 20,83%).

Эта проблема также может быть решена с помощью теоремы Байеса: Пусть X _i обозначает событие, когда случайно выбранный элемент был изготовлен i- ^й машиной (для i  = A, B, C). Пусть Y обозначает случай, когда случайно выбранный элемент неисправен. Затем нам предоставляется следующая информация:

${\ Displaystyle P (X_ {A}) = 0,2, \ quad P (X_ {B}) = 0,3, \ quad P (X_ {C}) = 0,5.}$

Если изделие было изготовлено на первой машине, то вероятность того, что он бракованный, составляет 0,05; то есть P ( Y  |  X _A ) = 0,05. В целом у нас есть

${\ Displaystyle P (Y | X_ {A}) = 0,05, \ quad P (Y | X_ {B}) = 0,03, \ quad P (Y | X_ {C}) = 0,01.}$

Чтобы ответить на исходный вопрос, сначала находим P (Y). Это можно сделать следующим образом:

${\ displaystyle P (Y) = \ sum _ {i} P (Y | X_ {i}) P (X_ {i}) = (0,05) (0,2) + (0,03) (0,3) + (0,01) (0,5 ) = 0,024.}$

Следовательно, 2,4% от общего объема неисправны.

Нам дано , что Y имеет место, и мы хотим , чтобы вычислить условную вероятность X _C . По теореме Байеса

${\ Displaystyle P (X_ {C} | Y) = {\ frac {P (Y | X_ {C}) P (X_ {C})} {P (Y)}} = {\ frac {0,01 \ cdot 0,50 } {0,024}} = {\ frac {5} {24}}}$

Учитывая, что элемент неисправен, вероятность того, что он был изготовлен на машине C, составляет 5/24. Хотя машина C производит половину всей продукции, она производит гораздо меньшую часть дефектных изделий. Следовательно, знание того, что выбранный элемент был дефектным, позволяет нам заменить априорную вероятность P ( X _C ) = 1/2 меньшей апостериорной вероятностью P (X _C  |  Y ) = 5/24.

Интерпретации

Рисунок 2: Геометрическая визуализация теоремы Байеса.

Интерпретация правила Байеса зависит от интерпретации вероятности, приписываемой терминам. Ниже описаны две основные интерпретации. На рисунке 2 показана геометрическая визуализация, аналогичная рисунку 1. Герд Гигеренцер и соавторы упорно настаивали на обучении правилу Байеса таким образом, уделяя особое внимание обучению им врачей. Примером может служить веб-страница Уилла Курта «Теорема Байеса с Lego», позже преобразованная в книгу « Байесовская статистика в увлекательном виде: понимание статистики и вероятности с помощью« Звездных войн », LEGO и Rubber Ducks». Чжу и Гигеренцер обнаружили в 2006 году, что, в то время как 0% учеников 4, 5 и 6 классов могли решать задачи со словами после обучения по формулам, 19%, 39% и 53% могли после обучения с помощью частотных прямоугольников, и что обучение был либо тщательным, либо нулевым.

Байесовская интерпретация

В байесовской (или эпистемологической) интерпретации вероятность измеряет «степень веры». Теорема Байеса связывает степень веры в предложение до и после учета доказательств. Например, предположим, что считается с 50% уверенностью, что монета в два раза чаще выпадет орлом, чем решка. Если монету подбрасывать несколько раз и результаты наблюдаются, эта степень веры, вероятно, повысится или снизится, но может даже остаться прежней, в зависимости от результатов. Для предложения A и доказательства B ,

• Р  ( ), то перед , является начальной степенью веры в A .
• P  ( A  |  B ), апостериор , - это степень уверенности после включения новости в то, что B является правдой.
• частное P ( B  |  A )/P ( B )представляет поддержку B предусматривает A .

Для получения дополнительной информации о применении теоремы Байеса в байесовской интерпретации вероятности см. Байесовский вывод .

Частичная интерпретация

Рисунок 3: Иллюстрация частотной интерпретации с древовидными диаграммами .

В частотной интерпретации вероятность измеряет «долю результатов». Например, предположим, что эксперимент проводится много раз. Р ( ) является доля результатов со свойством A (предшествующий уровень ) и Р ( Б ) представляет собой долю со свойством B . Р ( Б  |  ) является доля результатов со свойством B из результатов со свойством А , а Р (  |  B ) является доля тех , с А из тех , с  B (задней).

Роль теоремы Байеса лучше всего визуализируется с помощью древовидных диаграмм, таких как рисунок 3. Две диаграммы разбивают одни и те же результаты на A и B в противоположных порядках, чтобы получить обратные вероятности. Теорема Байеса связывает различные разбиения.

Пример

Рисунок 4: Древовидная диаграмма, иллюстрирующая пример жука. R, C, P и - это события редкие, общие, закономерности и отсутствия закономерностей. Рассчитываются проценты в скобках. Даны три независимых значения, поэтому можно рассчитать обратное дерево.${\ displaystyle {\ overline {P}}}$

An энтомолог пятно , что могло бы, в связи с рисунком на спине, быть редким подвидом из жука . Полные 98% представителей редкого подвида имеют образец, поэтому P (Pattern | Rare) = 98%. Только 5% представителей обычных подвидов имеют узор. Редкий подвид составляет 0,1% от общей популяции. Насколько вероятно, что жук, имеющий узор, будет редким: что такое P (Rare | Pattern)?

Из расширенной формы теоремы Байеса (поскольку любой жук либо редок, либо обычен),

${\ displaystyle {\ begin {align} P ({\ text {Rare}} \ mid {\ text {Pattern}}) & = {\ frac {P ({\ text {Pattern}} \ mid {\ text {Rare }}) P ({\ text {Rare}})} {P ({\ text {Pattern}})}} \\ [8pt] & = {\ frac {P ({\ text {Pattern}} \ mid { \ text {Rare}}) P ({\ text {Rare}})} {P ({\ text {Pattern}} \ mid {\ text {Rare}}) P ({\ text {Rare}}) + P ({\ text {Pattern}} \ mid {\ text {Common}}) P ({\ text {Common}})}} \\ [8pt] & = {\ frac {0,98 \ times 0,001} {0,98 \ times 0,001 + 0,05 \ раз 0,999}} \\ [8pt] и \ приблизительно 1,9 \% \ end {выровнено}}}$

Формы

События

Простая форма

Для событий A и B , если P ( B ) ≠ 0,

${\ Displaystyle P (A | B) = {\ гидроразрыва {P (B | A) P (A)} {P (B)}} \ cdot}$

Во многих приложениях, например , в байесовском умозаключении , событие B фиксируется в обсуждении, и мы хотели бы рассмотреть влияние его того , был отмечен на нашей вере в различных возможных событиях A . В такой ситуации знаменатель последнего выражения, вероятность данного свидетельства B , фиксируется; что мы хотим менять это . Затем теорема Байеса показывает, что апостериорные вероятности пропорциональны числителю, поэтому последнее уравнение принимает следующий вид:

${\ Displaystyle P (A | B) \ propto P (A) \ cdot P (B | A)}$ .

Другими словами, апостериорная величина пропорциональна предыдущим временам вероятности.

Если события A ₁ , A ₂ , ... являются взаимоисключающими и исчерпывающими, т. Е. Одно из них обязательно произойдет, но никакие два не могут произойти вместе, мы можем определить константу пропорциональности, используя тот факт, что их вероятности должны складываться. к одному. Например, для данного события A само событие A и его дополнение ¬ A являются исключающими и исчерпывающими. Обозначая константу пропорциональности через c, имеем

${\ Displaystyle P (A | B) = с \ CDOT P (A) \ CDOT P (B | A) {\ text {и}} P (\ neg A | B) = c \ cdot P (\ neg A) \ cdot P (B | \ neg A).}$

Складывая эти две формулы, получаем, что

${\ Displaystyle 1 = с \ CDOT (P (B | A) \ CDOT P (A) + P (B | \ neg A) \ CDOT P (\ neg A)),}$

или

${\ Displaystyle с = {\ гидроразрыва {1} {P (B | A) \ cdot P (A) + P (B | \ neg A) \ cdot P (\ neg A)}} = {\ frac {1} {P (B)}}.}$

Альтернативная форма

Другая форма теоремы Байеса для двух конкурирующих утверждений или гипотез:

${\ Displaystyle P (A | B) = {\ гидроразрыва {P (B | A) P (A)} {P (B | A) P (A) + P (B | \ neg A) P (\ neg A) )}}.}$

Для эпистемологической интерпретации:

Для предложения A и доказательства или фона B ,

• ${\ Displaystyle P (A)}$это априорная вероятность , начальная степень веры в A .
• ${\ Displaystyle P (\ neg A)}$- соответствующая начальная степень веры в не-A , что A ложно, где${\ Displaystyle P (\ neg A) = 1-P (A)}$
• ${\ Displaystyle P (B | A)}$- это условная вероятность или правдоподобие, степень веры в B при условии, что утверждение A истинно.
• ${\ Displaystyle P (B | \ neg A)}$- условная вероятность или правдоподобие, степень уверенности в B при условии, что утверждение A ложно.
• ${\ Displaystyle P (A | B)}$является апостериорной вероятностью , вероятность А после того, как с учетом B .

Расширенная форма

Часто, для некоторого разбиения { _J } в выборочном пространстве , то пространство событий дается в терминах P ( _J ) и P ( B  |  _J ). Затем полезно вычислить P ( B ), используя закон полной вероятности :

${\ Displaystyle P (B) = {\ sum _ {j} P (B | A_ {j}) P (A_ {j})},}$

${\ Displaystyle \ Rightarrow P (A_ {i} | B) = {\ frac {P (B | A_ {i}) P (A_ {i})} {\ sum \ limits _ {j} P (B | A_ {j}) P (A_ {j})}} \ cdot}$

В особом случае, когда A - двоичная переменная :

${\ Displaystyle P (A | B) = {\ гидроразрыва {P (B | A) P (A)} {P (B | A) P (A) + P (B | \ neg A) P (\ neg A) )}} \ cdot}$

Случайные переменные

Рисунок 5: Байес теорема применяется к событию пространству , порожденное непрерывные случайные величины X и Y . Для каждой точки области существует экземпляр теоремы Байеса . На практике эти экземпляры можно параметризовать, записав указанные плотности вероятности как функцию от x и y .

Рассмотрим пример пространства Q , порожденную два случайных величин X и Y . В принципе, теорема Байеса применима к событиям A  = { X  =  x } и B  = { Y  =  y }.

${\ Displaystyle P (X {=} x | Y {=} y) = {\ frac {P (Y {=} y | X {=} x) P (X {=} x)} {P (Y { =} y)}}}$

Однако члены становятся 0 в точках, где любая переменная имеет конечную плотность вероятности . Чтобы оставаться полезной, теорема Байеса должна быть сформулирована в терминах соответствующих плотностей (см. Вывод ).

Простая форма

Если X непрерывен, а Y дискретен,

${\ Displaystyle f_ {X | Y {=} y} (x) = {\ frac {P (Y {=} y | X {=} x) f_ {X} (x)} {P (Y {=}) y)}}}$

где каждый - функция плотности. ${\ displaystyle f}$

Если X дискретен, а Y непрерывен,

${\ displaystyle P (X {=} x | Y {=} y) = {\ frac {f_ {Y | X {=} x} (y) P (X {=} x)} {f_ {Y} ( y)}}.}$

Если и X, и Y непрерывны,

${\ Displaystyle f_ {X | Y {=} y} (x) = {\ frac {f_ {Y | X {=} x} (y) f_ {X} (x)} {f_ {Y} (y) }}.}$

Расширенная форма

Рисунок 6: Способ концептуализации пространств событий, генерируемых непрерывными случайными величинами X и Y.

Пространство непрерывных событий часто концептуализируется в терминах числителя. Затем полезно удалить знаменатель, используя закон полной вероятности . Для f _Y ( y ) это становится интегралом:

${\ displaystyle f_ {Y} (y) = \ int _ {- \ infty} ^ {\ infty} f_ {Y | X = \ xi} (y) f_ {X} (\ xi) \, d \ xi. }$

Правило Байеса

Теорема Байеса в форме шансов :

${\ Displaystyle O (A_ {1}: A_ {2} \ mid B) = O (A_ {1}: A_ {2}) \ cdot \ Lambda (A_ {1}: A_ {2} \ mid B)}$

куда

${\ displaystyle \ Lambda (A_ {1}: A_ {2} \ mid B) = {\ frac {P (B \ mid A_ {1})} {P (B \ mid A_ {2})}}}$

называется байесовским фактором или отношением правдоподобия . Шансы между двумя событиями - это просто отношение вероятностей двух событий. Таким образом

${\ displaystyle O (A_ {1}: A_ {2}) = {\ frac {P (A_ {1})} {P (A_ {2})}},}$

${\ Displaystyle O (A_ {1}: A_ {2} \ mid B) = {\ frac {P (A_ {1} \ mid B)} {P (A_ {2} \ mid B)}},}$

Таким образом, правило гласит, что апостериорные шансы - это апостериорные шансы, умноженные на байесовский фактор , или, другими словами, апостериорные шансы пропорциональны предыдущим временам вероятности.

В частном случае, это и , пишется , и используется аналогичное сокращение для байесовского фактора и для условных шансов. По определению, шансы на победу - это шансы «за» и «против» . Тогда правило Байеса можно записать в сокращенной форме ${\ displaystyle A_ {1} = A}$${\ Displaystyle A_ {2} = \ neg A}$${\ Displaystyle O (A) = O (A: \ neg A) = P (A) / (1-P (A))}$${\ displaystyle A}$${\ displaystyle A}$

${\ Displaystyle О (А \ середина В) = О (А) \ CDOT \ Лямбда (А \ середина В),}$

или, говоря словами, апостериорная вероятность равна предыдущей вероятности, умноженной на отношение правдоподобия данной информации . Короче говоря, апостериорные шансы равны предыдущим шансам, умноженным на отношение правдоподобия . ${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$

Соответствие другим математическим системам

Логика высказываний

Теорема Байеса представляет собой обобщение противопоставления, которое в логике высказываний может быть выражено как:

${\ Displaystyle (\ lnot A \ к \ lnot B) \ к (B \ к A).}$

Соответствующая формула в терминах исчисления вероятностей - это теорема Байеса, которая в развернутой форме выражается как:

${\ Displaystyle P (A \ mid B) = {\ frac {P (B \ mid A) a (A)} {P (B \ mid A) a (A) + P (B \ mid \ lnot A) a (\ lnot A)}}.}$

В приведенном выше уравнении условная вероятность обобщает логическое утверждение , т. Е. Помимо присвоения ИСТИНА или ЛОЖЬ, мы также можем присвоить утверждению любую вероятность. Этот термин обозначает априорную вероятность (также известную как базовая ставка ) . Предположим, что это эквивалентно ИСТИННО, и это эквивалентно ЛОЖЬ. Тогда легко увидеть, что когда, то есть когда ИСТИНА. Это потому, что дробь в правой части приведенного выше уравнения равна 1 и, следовательно, эквивалентна ИСТИННОМУ. Следовательно, теорема Байеса представляет собой обобщение противопоставления . ${\ displaystyle P (B \ mid A)}$${\ Displaystyle (от А \ до В)}$${\ Displaystyle а (А)}$${\ displaystyle A}$${\ Displaystyle Р (А \ середина В) = 1}$${\ Displaystyle (от В \ к А)}$${\ displaystyle P (A \ mid B) = 0}$${\ Displaystyle (от В \ к А)}$${\ Displaystyle Р (А \ середина В) = 1}$${\ Displaystyle P (\ lnot B \ mid \ lnot A) = 1}$${\ Displaystyle (\ lnot А \ к \ lnot B)}$${\ Displaystyle P (B \ mid \ lnot A) = 1-P (\ lnot B \ mid \ lnot A) = 0}$${\ Displaystyle Р (А \ середина В) = 1}$${\ Displaystyle (от В \ к А)}$

Субъективная логика

Теорема Байеса представляет собой частный случай условной инверсии в субъективной логике, выраженной как:

${\ displaystyle (\ omega _ {A {\ тильда {|}} B} ^ {S}, \ omega _ {A {\ tilde {|}} \ lnot B} ^ {S}) = (\ omega _ { B \ mid A} ^ {S}, \ omega _ {B \ mid \ lnot A} ^ {S}) {\ widetilde {\ phi}} a_ {A},}$

где обозначает оператор условного обращения. Аргумент обозначает пару биномиальных условных мнений, предоставленных источником , а аргумент обозначает априорную вероятность (также известную как базовая ставка ) . Обозначается пара перевернутых условных мнений . Условное мнение обобщает вероятностное условное , т. Е. В дополнение к присвоению вероятности источник может приписать условному утверждению любое субъективное мнение . Биномиальное субъективное мнение - это вера в истинность утверждения со степенью эпистемической неопределенности, выраженной источником . Каждому субъективному мнению соответствует прогнозируемая вероятность . Применение теоремы Байеса к прогнозируемым вероятностям мнений является гомоморфизмом , что означает, что теорема Байеса может быть выражена в терминах прогнозируемых вероятностей мнений: ${\ displaystyle {\ widetilde {\ phi}}}$${\ displaystyle (\ omega _ {B \ mid A} ^ {S}, \ omega _ {B \ mid \ lnot A} ^ {S})}$${\ displaystyle S}$${\ displaystyle a_ {A}}$${\ displaystyle A}$${\ displaystyle (\ omega _ {A {\ тильда {|}} B} ^ {S}, \ omega _ {A {\ tilde {|}} \ lnot B} ^ {S})}$${\ displaystyle \ omega _ {A \ mid B} ^ {S}}$${\ displaystyle P (A \ mid B)}$${\ displaystyle S}$${\ Displaystyle (А \ середина В)}$${\ displaystyle \ omega _ {A} ^ {S}}$${\ displaystyle A}$${\ displaystyle S}$${\ Displaystyle P (\ omega _ {A} ^ {S})}$

${\ Displaystyle P (\ omega _ {A {\ тильда {|}} B} ^ {S}) = {\ frac {P (\ omega _ {B \ mid A} ^ {S}) a (A)} {P (\ omega _ {B \ mid A} ^ {S}) a (A) + P (\ omega _ {B \ mid \ lnot A} ^ {S}) a (\ lnot A)}}.}.$

Следовательно, субъективная теорема Байеса представляет собой обобщение теоремы Байеса.

Обобщения

Условная версия

Условная версия теоремы Байеса является результатом добавления третьего события, от которого зависят все вероятности: ${\ displaystyle C}$

${\ Displaystyle P (A \ mid B \ cap C) = {\ frac {P (B \ mid A \ cap C) \, P (A \ mid C)} {P (B \ mid C)}}}$

Вывод

Использование цепного правила

${\ Displaystyle P (A \ cap B \ cap C) = P (A \ mid B \ cap C) \, P (B \ mid C) \, P (C)}$

А с другой стороны

${\ Displaystyle P (A \ cap B \ cap C) = P (B \ cap A \ cap C) = P (B \ mid A \ cap C) \, P (A \ mid C) \, P (C) }$

Желаемый результат достигается путем определения обоих выражений и решения для . ${\ Displaystyle P (A \ середина B \ крышка C)}$

Правило Байеса с 3 событиями

В случае трех событий - A, B и C - можно показать, что:

${\ Displaystyle P (A \ mid B, C) = {\ frac {P (B \ mid A, C) \; P (A \ mid C)} {P (B \ mid C)}}}$

История

Теорема Байеса названа в честь преподобного Томаса Байеса ( / b eɪ z / ; ок. 1701 - 1761), который первым использовал условную вероятность для создания алгоритма (его предложение 9), который использует доказательства для вычисления пределов неизвестного параметра, опубликовано как «Очерк решения проблемы в« Доктрине случайностей » (1763 г.). Он изучал, как вычислить распределение для параметра вероятности биномиального распределения (в современной терминологии). После смерти Байеса его семья передала его документы его старому другу Ричарду Прайсу (1723–1791), который в течение двух лет значительно редактировал неопубликованную рукопись, прежде чем отправить ее другу, который прочитал ее вслух в Королевском обществе 23 декабря. 1763. Прайс отредактировал основную работу Байеса «Очерк решения проблемы в Доктрине вероятностей» (1763), которая появилась в Philosophical Transactions и содержит теорему Байеса. Прайс написал введение к статье, в которой представлены некоторые философские основы байесовской статистики, и выбрал одно из двух решений, предложенных Байесом. В 1765 году Прайс был избран членом Королевского общества в знак признания его работы над наследием Байеса. 27 апреля в Королевском обществе было оглашено и позже опубликовано письмо, отправленное его другу Бенджамину Франклину , где Прайс применяет эту работу к населению и вычислению «пожизненной ренты».

Независимо от Байеса, Пьер-Симон Лаплас в 1774 году, а затем в своей « Теории аналитической вероятности» 1812 года использовал условную вероятность, чтобы сформулировать отношение обновленной апостериорной вероятности к априорной вероятности при наличии данных. Он воспроизвел и расширил результаты Байеса в 1774 году, по-видимому, не зная о работе Байеса. Байесовский интерпретация вероятности был разработан главным образом Лаплас.

Сэр Гарольд Джеффрис поставил алгоритм Байеса и формулировку Лапласа на аксиоматическую основу, написав, что теорема Байеса «для теории вероятностей то же самое, что теорема Пифагора для геометрии».

Стивен Стиглер использовал байесовский аргумент, чтобы заключить, что теорема Байеса была открыта Николасом Сондерсоном , слепым английским математиком, незадолго до Байеса; это толкование, однако, оспаривается. Мартин Хупер и Шэрон МакГрейн утверждали, что вклад Ричарда Прайса был значительным:

По современным меркам следует обращаться к правилу Байеса – Прайса. Прайс открыл для себя работу Байеса, осознал ее важность, исправил ее, внес свой вклад в статью и нашел ей применение. Современная традиция использования одного только имени Байеса несправедлива, но настолько укоренилась, что все остальное не имеет смысла.

Использование в генетике

В генетике теорему Байеса можно использовать для расчета вероятности того, что у человека будет определенный генотип. Многие люди стремятся приблизительно оценить свои шансы быть затронутыми генетическим заболеванием или вероятность того, что они являются носителями интересующего рецессивного гена. Байесовский анализ может быть проведен на основе семейного анамнеза или генетического тестирования, чтобы предсказать, разовьется ли у человека болезнь или передаст ее своим детям. Генетическое тестирование и прогнозирование - обычная практика среди пар, которые планируют иметь детей, но обеспокоены тем, что оба они могут быть носителями болезни, особенно в сообществах с низкой генетической вариабельностью.

Первым шагом байесовского анализа для генетики является выдвижение взаимоисключающих гипотез: для определенного аллеля индивид либо является, либо не является носителем. Затем вычисляются четыре вероятности: априорная вероятность (вероятность каждой гипотезы с учетом такой информации, как семейный анамнез или прогнозы, основанные на менделевском наследовании), условная вероятность (определенного исхода), совместная вероятность (произведение первых двух) и апостериорная вероятность. Вероятность (взвешенный продукт, рассчитанный путем деления совместной вероятности для каждой гипотезы на сумму обеих совместных вероятностей). Этот тип анализа может проводиться исключительно на основании семейного анамнеза заболевания или в сочетании с генетическим тестированием.

Использование родословной для расчета вероятностей

Пример таблицы байесовского анализа риска заболевания для женщины, основанный на знании того, что болезнь присутствует у ее братьев и сестер, но не у ее родителей или кого-либо из ее четырех детей. Основываясь исключительно на статусе братьев и сестер и родителей субъекта, она с одинаковой вероятностью будет носителем, как и не носителем (эта вероятность обозначена Априорной гипотезой). Однако вероятность того, что все четыре сына субъекта не будут затронуты, составляет 1/16 (½ · ½ · ½ · ½), если она является носителем, около 1, если она не является носителем (это условная вероятность). Совместная вероятность согласовывает эти два прогноза путем их умножения. Последняя строка (апостериорная вероятность) вычисляется путем деления совместной вероятности для каждой гипотезы на сумму обеих совместных вероятностей.

Использование результатов генетических тестов

Родительское генетическое тестирование может выявить около 90% известных аллелей болезни у родителей, которые могут привести к статусу носительства или заболеванию у их ребенка. Муковисцидоз - это наследственное заболевание, вызванное аутосомно-рецессивной мутацией гена CFTR, расположенного на q-плече хромосомы 7.

Байесовский анализ пациентки с семейным анамнезом муковисцидоза (МВ), у которой был отрицательный результат теста на МВ, демонстрирующий, как этот метод использовался для определения ее риска рождения ребенка с МВ:

Поскольку пациентка не затронута, она либо гомозиготна по аллелю дикого типа, либо гетерозиготна. Для определения априорной вероятности используется квадрат Пеннета, основанный на знании того, что ни один из родителей не пострадал от болезни, но оба могли быть носителями:

Учитывая, что пациент не поражен, есть только три возможности. В этих трех случаях существует два сценария, в которых пациент является носителем мутантного аллеля. Таким образом, априорные вероятности равны и.

Далее пациент проходит генетическое тестирование и дает отрицательный результат на муковисцидоз. Частота обнаружения этого теста составляет 90%, поэтому условные вероятности отрицательного результата равны 1/10 и 1. Наконец, совместная и апостериорная вероятности вычисляются, как и раньше.

После проведения того же анализа на партнере пациента-мужчине (с отрицательным результатом теста) вероятность того, что их ребенок будет затронут, равна произведению соответствующих апостериорных вероятностей родителей быть носителями, умноженных на вероятность того, что два носителя произведут пораженное потомство (¼).

Генетическое тестирование проводится параллельно с выявлением других факторов риска.

Байесовский анализ может быть выполнен с использованием фенотипической информации, связанной с генетическим заболеванием, и в сочетании с генетическим тестированием этот анализ становится намного сложнее. Кистозный фиброз, например, может быть идентифицирован у плода с помощью ультразвука, ищущего эхогенный кишечник, то есть тот, который на сканировании выглядит ярче, чем обычно2. Это не надежный тест, так как эхогенный кишечник может присутствовать у совершенно здорового плода. В этом случае очень большое значение имеет генетическое тестирование родителей, когда фенотипический аспект может иметь чрезмерное влияние на расчет вероятности. В случае плода с эхогенным кишечником, у матери, которая прошла тестирование и известно, что она является носителем МВ, апостериорная вероятность того, что у плода действительно есть заболевание, очень высока (0,64). Однако, как только отец дает отрицательный результат на МВ, апостериорная вероятность значительно снижается (до 0,16).

Расчет факторов риска - мощный инструмент в генетическом консультировании и репродуктивном планировании, но его нельзя рассматривать как единственный важный фактор, который следует учитывать. Как указано выше, неполное тестирование может дать ложно высокую вероятность статуса носителя, а тестирование может быть финансово недоступным или неосуществимым, когда родитель отсутствует.

Смотрите также

• Индуктивная вероятность
• Квантовый байесовство
• Почему большинство опубликованных результатов исследований ложны
• Байесовская эпистемология

Примечания

использованная литература

дальнейшее чтение

• Грунау, Ганс-Кристоф (24 января 2014 г.). «Предисловие к выпуску 3 / 4-2013» . Jahresbericht der Deutschen Mathematiker-Vereinigung . 115 (3–4): 127–128. DOI : 10.1365 / s13291-013-0077-Z .
• Гельман, А., Карлин, Дж. Б., Стерн, Х.С. и Рубин, Д. Б. (2003), «Байесовский анализ данных», второе издание, CRC Press.
• Гринстед К.М. и Снелл Дж. Л. (1997), «Введение в вероятность (2-е издание)», Американское математическое общество (доступен бесплатный PDF-файл) [1] .
• «Формула Байеса» , Энциклопедия математики , EMS Press , 2001 [1994]
• МакГрейн, С.Б. (2011). Теория, которая не умрет: как правило Байеса взломало код загадки, выследило российские подводные лодки и вышло победителем из двух столетий противоречий . Издательство Йельского университета . ISBN 978-0-300-18822-6.
• Лаплас, Пьер Симон (1986). «Воспоминание о вероятности причин событий» . Статистическая наука . 1 (3): 364–378. DOI : 10,1214 / сс / 1177013621 . JSTOR  2245476 .
• Ли, Питер М. (2012), «Байесовская статистика: введение», 4-е издание. Вайли. ISBN  978-1-118-33257-3 .
• Пуга Ю.Л., Кшивинский М., Альтман Н. (31 марта 2015 г.). «Теорема Байеса» . Природные методы . 12 (4): 277–278. DOI : 10.1038 / nmeth.3335 . PMID  26005726 .
• Розенталь, Джеффри С. (2005), «Удар молнии: любопытный мир вероятностей». HarperCollins. (Granta, 2008. ISBN  9781862079960 ).
• Стиглер, Стивен М. (август 1986 г.). "Воспоминания Лапласа об обратной вероятности 1774 года" . Статистическая наука . 1 (3): 359–363. DOI : 10,1214 / сс / 1177013620 .
• Stone, JV (2013), загрузите главу 1 «Правила Байеса: Учебное введение в байесовский анализ» , Sebtel Press, England.
• Байесовское рассуждение для умных людей , введение и учебное пособие по использованию теоремы Байеса в статистике и когнитивной науке.
• Моррис, Дэн (2016), Прочтите первые 6 глав бесплатно « Примеры теорем Байеса: визуальное введение для начинающих » Blue Windmill ISBN  978-1549761744 . Краткое руководство о том, как понять сценарии проблем и найти P (B), P (A) и P (B | A).

внешние ссылки

• Теория, которая не умрет, Шэрон Бертч МакГрейн Рецензия на книгу New York Times, написанную Джоном Алленом Паулосом, 5 августа 2011 г.
• Визуальное объяснение Байеса с помощью деревьев (видео)
• Визуальное объяснение частотной интерпретации Байеса (видео)
• Самые ранние известные варианты использования некоторых слов математики (B) . Содержит истоки «байесовской», «теоремы Байеса», «байесовской оценки / риска / решения», «эмпирического байеса» и «байесовского фактора».
• Вайсштейн, Эрик В. «Теорема Байеса» . MathWorld .
• Теорема Байеса в PlanetMath .
• Теорема Байеса и глупость предсказаний
• Учебное пособие по вероятности и теореме Байеса для студентов-психологов Оксфордского университета.
• Интуитивное объяснение теоремы Байеса Элиезера С. Юдковского
• Онлайн-демонстратор субъективной теоремы Байеса
• Байесовская клиническая диагностическая модель