Байесовская вероятность - Bayesian probability

Байесовская вероятность - это интерпретация концепции вероятности , в которой вместо частоты или склонности какого-либо явления вероятность интерпретируется как разумное ожидание, представляющее состояние знаний, или как количественная оценка личного убеждения.

Байесовскую интерпретацию вероятности можно рассматривать как расширение логики высказываний, которое позволяет рассуждать с помощью гипотез ; то есть с предложениями, истинность или ложность которых неизвестна. С байесовской точки зрения гипотезе присваивается вероятность, тогда как при частотном выводе гипотеза обычно проверяется без присвоения вероятности.

Байесовская вероятность относится к категории доказательных вероятностей; чтобы оценить вероятность гипотезы, байесовский вероятностник указывает априорную вероятность . Это, в свою очередь, затем обновляется до апостериорной вероятности в свете новых релевантных данных (свидетельств). Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого вычисления.

Термин байесовский происходит от математика и теолога 18-го века Томаса Байеса , который впервые математически рассмотрел нетривиальную проблему статистического анализа данных, используя то, что сейчас известно как байесовский вывод . Математик Пьер-Симон Лаплас стал пионером и популяризировал то, что сейчас называется байесовской вероятностью.

Байесовская методология

Байесовские методы характеризуются следующими концепциями и процедурами:

  • Использование случайных величин или, в более общем смысле, неизвестных величин для моделирования всех источников неопределенности в статистических моделях, включая неопределенность, возникающую из-за недостатка информации (см. Также алеаторическую и эпистемическую неопределенность ).
  • Необходимость определения априорного распределения вероятностей с учетом имеющейся (априорной) информации.
  • Последовательное использование формулы Байеса : когда станет доступно больше данных, рассчитайте апостериорное распределение, используя формулу Байеса; впоследствии апостериорное распределение становится следующим апостериорным.
  • В то время как для частотника гипотеза - это предложение (которое должно быть либо истинным, либо ложным ), так что частотная вероятность гипотезы равна 0 или 1, в байесовской статистике вероятность, которая может быть отнесена к гипотезе, также может быть равна диапазон от 0 до 1, если значение истинности не определено.

Объективные и субъективные байесовские вероятности

Вообще говоря, есть две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логики , вероятность количественно определяет разумное ожидание, которое каждый (даже «робот»), обладающий одним и тем же знанием, должен разделять в соответствии с правилами байесовской статистики, что может быть оправдано теоремой Кокса . Для субъективистов вероятность соответствует личному убеждению. Рациональность и согласованность допускают существенные вариации в рамках ограничений, которые они создают; ограничения оправдываются аргументацией в голландской книге или теорией принятия решений и теоремой де Финетти . Объективный и субъективный варианты байесовской вероятности различаются в основном своей интерпретацией и построением априорной вероятности.

История

Термин байесовский происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса, в статье под названием « Эссе для решения проблемы в Доктрине вероятностей ». В этом частном случае априорное и апостериорное распределения были бета-распределениями, и данные были получены в результате испытаний Бернулли . Именно Пьер-Симон Лаплас (1749–1827) представил общую версию теоремы и использовал ее для решения проблем небесной механики , медицинской статистики, надежности и юриспруденции . Ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточной причины Лапласа , был назван « обратной вероятностью » (потому что он выводит в обратном направлении от наблюдений к параметрам или от следствий к причинам). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой .

В ХХ веке идеи Лапласа развивались в двух направлениях, порождая объективные и субъективные течения в байесовской практике. Гарольд Джеффрис ' Теория вероятностей (впервые опубликована в 1939 г.) сыграли важную роль в возрождении байесовской зрения вероятности, а затем работами Abraham Wald (1950) и Леонард Дж Savage (1954). Само прилагательное байесовское восходит к 1950-м годам; Производное байесовское начало , необайесианство, имеет чеканку 1960-х годов. В потоке объективистов статистический анализ зависит только от предполагаемой модели и проанализированных данных. Не нужно принимать никаких субъективных решений. Напротив, «субъективные» статистики отрицают возможность полностью объективного анализа для общего случая.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием методов Монте-Карло с цепями Маркова и последующим устранением многих вычислительных проблем, а также с растущим интересом к нестандартным сложным приложениям. В то время как частотная статистика остается сильной (о чем свидетельствует тот факт, что большая часть обучения в бакалавриате все еще основана на ней), байесовские методы широко приняты и используются, например, в области машинного обучения .

Обоснование байесовских вероятностей

Использование байесовских вероятностей в качестве основы байесовского вывода было поддержано несколькими аргументами, такими как аксиомы Кокса , аргумент голландской книги , аргументы, основанные на теории принятия решений и теореме де Финетти .

Аксиоматический подход

Ричард Т. Кокс показал, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотезу дифференцируемости. Предположение о дифференцируемости или даже непрерывности спорно; Халперн нашел контрпример, основанный на своем наблюдении, что булева алгебра утверждений может быть конечной. Другие аксиоматизации предлагались разными авторами с целью сделать теорию более строгой.

Голландский книжный подход

Аргумент голландской книги был предложен де Финетти ; он основан на ставках. Голландская книга сделана , когда умный игрок помещает набор ставка , которые гарантируют прибыль, независимо от исхода ставка. Если букмекерская контора следует правилам байесовского исчисления при построении своих коэффициентов, голландская книга не может быть составлена.

Однако Ян Хакинг отметил, что традиционные аргументы голландских книг не указывают на байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Хакинг пишет: «И ни аргумент в голландской книге, ни любой другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесовство. Таким образом, персоналист требует, чтобы динамическое допущение было байесовским. Это так. правда, что последовательно персоналист может отказаться от байесовской модели обучения на собственном опыте. Соль может потерять свой вкус ».

Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как это обсуждалось в литературе по « вероятностной кинематике » после публикации правила Ричарда Джеффриса , которое само по себе считается байесовским). Дополнительные гипотезы, достаточные для (однозначного) определения байесовского обновления, являются существенными и не всегда считаются удовлетворительными.

Теоретический подход к принятию решений

Решение теоретико- обоснование использования умозаключений байесовских (и , следовательно , Байесовские вероятности) было дано Авраам Wald , который доказал , что каждая допустимая статистическая процедура либо байесовская процедура или ограничение процедур Байесовских. И наоборот, допустима любая байесовская процедура .

Личные вероятности и объективные методы построения априорных точек.

После работы по ожидаемой полезности теории из Рэмси и фон Неймана , директивные теоретики приходилось рационального поведения , используя распределение вероятностей для агента . Иоганн Пфанцагл завершил теорию игр и экономического поведения , предоставив аксиоматизацию субъективной вероятности и полезности, - задачу, которую фон Нейман и Оскар Моргенштерн оставили незавершенной : их первоначальная теория предполагала, что для удобства все агенты имеют одинаковое распределение вероятностей. Аксиоматизация Пфанцагля была одобрена Оскаром Моргенштерном: «Фон Нейман и я предвидели ... [вопрос о том, могут ли вероятности] быть, возможно, более типично, субъективными, и специально заявили, что в последнем случае можно найти аксиомы, из которых можно вывести желаемая числовая полезность вместе с числом вероятностей (см. стр. 19 « Теории игр и экономического поведения» ). Мы этого не выполняли; это было продемонстрировано Пфанзаглем ... со всей необходимой строгостью ».

Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента можно объективно изучить в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) были разработаны Рамси (1931) и де Финетти (1931, 1937, 1964, 1970). И Бруно де Финетти, и Фрэнк П. Рэмси признают свои долги перед прагматической философией , в частности (за Рэмси) перед Чарльзом С. Пирсом .

«Тест Рамсея» для оценки вероятностных распределений теоретически реализуем и занимал психологов-экспериментаторов в течение полувека. Эта работа демонстрирует, что предположения , основанные на байесовской вероятности, могут быть фальсифицированы и, таким образом, соответствуют эмпирическим критериям Чарльза С. Пирса , работа которого вдохновила Рэмси. (Этот критерий фальсифицируемости популяризировал Карл Поппер .)

Современная работа по экспериментальной оценке личных вероятностей использует процедуры рандомизации, ослепления и логического решения эксперимента Пирса-Джастроу. Поскольку люди действуют в соответствии с различными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).

Личные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени для определения информированного распределения вероятностей (на основе которого они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы определения априорных вероятностей.

Действительно, некоторый Bayesians утверждает , предшествующее состояние знаний определяет в (уникальное) перед вероятностью распределение для «обычных» статистических задач; ср. хорошо поставленные задачи . Поиск правильного метода для построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был предметом поиска теоретиков статистики от Лапласа до Джона Мейнарда Кейнса , Гарольда Джеффриса и Эдвина Томпсона Джейнса . Эти теоретики и их последователи предложили несколько методов построения «объективных» априорных точек (к сожалению, неясно, как оценить относительную «объективность» априорных оценок, предложенных этими методами):

Каждый из этих методов вносит полезные априорные значения для «обычных» однопараметрических задач, и каждый из них может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов был полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно «по умолчанию» или «незнание») априорных значений были разработаны признанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер ( Университет Дьюка ) и Хосе-Мигель Бернардо ( Университет Валенсии ). просто потому, что такие априорные значения необходимы для байесовской практики, особенно в науке. Поиски «универсального метода построения априорных значений» продолжают привлекать теоретиков статистики.

Таким образом, байесовскому статистику необходимо либо использовать информированные априорные факторы (используя соответствующий опыт или предыдущие данные), либо выбирать среди конкурирующих методов для построения «объективных» априорных значений.

Смотрите также

использованная литература

Библиография