Апостериорная вероятность - Posterior probability

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В байесовской статистике , то апостериорная вероятность из случайного события или неопределенного предложения является условной вероятностью того, что назначается после соответствующего свидетельства или фон принимается во внимание. «Посторонний» в данном контексте означает принятие во внимание соответствующих доказательств, относящихся к конкретному рассматриваемому делу.

Заднее распределение вероятностей является распределение вероятности неизвестного количества, рассматривается как случайная величина , обусловливающее доказательств , полученных из эксперимента или обследования.

Определение

Апостериорная вероятность есть вероятность параметров , приведенных доказательств : . ${\ displaystyle \ theta}$${\ displaystyle X}$${\ Displaystyle р (\ тета | X)}$

Это контрастирует с функцией правдоподобия , что вероятность показаний параметров: . ${\ Displaystyle р (Х | \ тета)}$

Эти два отношения связаны следующим образом:

Учитывая априорное убеждение, что функция распределения вероятностей есть и что наблюдения имеют правдоподобие , тогда апостериорная вероятность определяется как ${\ Displaystyle р (\ тета)}$${\ displaystyle x}$${\ Displaystyle р (х | \ тета)}$

${\ Displaystyle p (\ theta | x) = {\ frac {p (x | \ theta)} {p (x)}} p (\ theta)}$

где - нормирующая постоянная, вычисляемая как ${\ displaystyle p (x)}$

${\ Displaystyle п (х) = \ int р (х | \ тета) р (\ тета) д \ тета}$

для непрерывных или суммированием по всем возможным значениям для дискретных . ${\ displaystyle \ theta}$${\ Displaystyle р (х | \ тета) р (\ тета)}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$

Следовательно, апостериорная вероятность пропорциональна произведению Вероятность · Априорная вероятность .

Пример

Предположим, что в школе 60% мальчиков и 40% девочек. Девушки носят брюки или юбки в равном количестве; все мальчики носят брюки. Наблюдатель видит (случайного) ученика на расстоянии; все, что может видеть наблюдатель, - это то, что на этом ученице брюки. Какова вероятность того, что этот студент - девушка? Правильный ответ можно вычислить с помощью теоремы Байеса.

Событие состоит в том, что наблюдаемый студент - это девушка, а событие состоит в том, что наблюдаемый студент носит брюки. Чтобы вычислить апостериорную вероятность , нам сначала нужно знать: ${\ displaystyle G}$${\ displaystyle T}$${\ Displaystyle P (G | T)}$

• ${\ Displaystyle P (G)}$, или вероятность того, что студент - девушка, независимо от любой другой информации. Поскольку наблюдатель видит случайного ученика, а это означает, что все ученики имеют одинаковую вероятность быть наблюдаемым, а процент девочек среди учеников составляет 40%, эта вероятность равна 0,4.
• ${\ Displaystyle P (B)}$, или вероятность того, что ученик не девочка (т. е. мальчик), независимо от любой другой информации ( является дополнительным событием ). Это 60% или 0,6.${\ displaystyle B}$${\ displaystyle G}$
• ${\ Displaystyle P (T | G)}$, или вероятность того, что студент будет в брюках, учитывая, что студент - девушка. Поскольку они с такой же вероятностью будут носить юбки, как и брюки, это 0,5.
• ${\ Displaystyle P (T | B)}$, или вероятность того, что студент будет в брюках, учитывая, что студент мальчик. Это дается как 1.
• ${\ Displaystyle P (T)}$или вероятность того, что (случайно выбранный) студент будет в брюках, независимо от любой другой информации. Поскольку (по закону полной вероятности ) это .${\ Displaystyle P (T) = P (T | G) P (G) + P (T | B) P (B)}$${\ Displaystyle P (T) = 0,5 \ раз 0,4 + 1 \ раз 0,6 = 0,8}$

Учитывая всю эту информацию, апостериорную вероятность того, что наблюдатель заметил девушку, учитывая, что наблюдаемый студент носит брюки, можно вычислить, подставив эти значения в формулу:

${\ Displaystyle P (G | T) = {\ frac {P (T | G) P (G)} {P (T)}} = {\ frac {0,5 \ times 0,4} {0,8}} = 0,25.}$

Интуитивно понятный способ решить эту проблему - предположить, что в школе N учеников. Количество мальчиков = 0,6N и количество девочек = 0,4N. Если N достаточно велико, общее количество пользователей брюк = 0,6N + 50% от 0,4N. А количество девушек, носящих брюки, = 50% от 0,4N. Следовательно, в популяции брюк девушки составляют (50% от 0,4N) / (0,6N + 50% от 0,4N) = 25%. Другими словами, если вы выделили группу носителей брюк, четверть этой группы составят девушки. Таким образом, если вы видите брюки, самое большее, что вы можете сделать, это то, что вы смотрите на единственную выборку из подгруппы студентов, из которых 25% - девушки. И по определению вероятность того, что эта случайная ученица окажется девушкой, составляет 25%. Таким образом можно решить любую проблему теоремы Байеса.

Расчет

Заднее распределение вероятностей одного случайных переменный присваиваются значением другого может быть вычислено с теоремой Байеса путем умножения предварительного распределения вероятностей по функции правдоподобия , а затем деления на константе нормализующей , следующим образом :

${\ displaystyle f_ {X \ mid Y = y} (x) = {f_ {X} (x) {\ mathcal {L}} _ {X \ mid Y = y} (x) \ over {\ int _ { - \ infty} ^ {\ infty} f_ {X} (u) {\ mathcal {L}} _ {X \ mid Y = y} (u) \, du}}}$

дает апостериорную функцию плотности вероятности для случайной величины с учетом данных , где ${\ displaystyle X}$${\ displaystyle Y = y}$

• ${\ displaystyle f_ {X} (x)}$это априорная плотность ,${\ displaystyle X}$
• ${\ displaystyle {\ mathcal {L}} _ {X \ mid Y = y} (x) = f_ {Y \ mid X = x} (y)}$- функция правдоподобия как функция ,${\ displaystyle x}$
• ${\ displaystyle \ int _ {- \ infty} ^ {\ infty} f_ {X} (u) {\ mathcal {L}} _ {X \ mid Y = y} (u) \, du}$ - нормирующая постоянная, а
• ${\ displaystyle f_ {X \ mid Y = y} (x)}$- апостериорная плотность данных .${\ displaystyle X}$${\ displaystyle Y = y}$

Достоверный интервал

Апостериорная вероятность - это условная вероятность, обусловленная случайно наблюдаемыми данными. Следовательно, это случайная величина. Для случайной величины важно суммировать ее неопределенность. Один из способов достижения этой цели - обеспечить достоверный интервал апостериорной вероятности.

Классификация

В классификации апостериорные вероятности отражают неопределенность оценки наблюдения для определенного класса, см. Также Вероятности членства в классах . В то время как методы статистической классификации по определению генерируют апостериорные вероятности, машинное обучение обычно предоставляет значения принадлежности, которые не вызывают какой-либо вероятностной уверенности. Желательно преобразовать или повторно масштабировать значения членства в вероятности членства в классе, поскольку они сопоставимы и, кроме того, более легко применимы для последующей обработки.

Смотрите также

• Интервал прогноза
• Теорема Бернштейна – фон Мизеса
• Проблема Монти Холла
• Проблема трех заключенных
• Парадокс коробки Бертрана
• Выбор переменных шипа и плиты
• Байесовский структурный временной ряд
• Вероятность успеха
• Байесовская эпистемология

использованная литература

дальнейшее чтение

• Ланкастер, Тони (2004). Введение в современную байесовскую эконометрику . Оксфорд: Блэквелл. ISBN 1-4051-1720-6.
• Ли, Питер М. (2004). Байесовская статистика: введение (3-е изд.). Вайли . ISBN 0-340-81405-5.