Фактор Байеса - Bayes factor

В статистике использование байесовских факторов является байесовской альтернативой классической проверке гипотез . Сравнение байесовских моделей - это метод выбора моделей, основанный на байесовских факторах. Рассматриваемые модели являются статистическими . Целью байесовского фактора является количественная оценка поддержки одной модели над другой, независимо от того, верны ли эти модели. Техническое определение «поддержки» в контексте байесовского вывода описывается ниже.

Определение

Байесовский фактор представляет собой отношение правдоподобия из предельной вероятности двух конкурирующих гипотез, как правило, нулевых и альтернативы.

Апостериорная вероятность модель- М данных данных D дается теоремой Байеса :

Ключевой термин, зависящий от данных, представляет собой вероятность того, что некоторые данные получены в предположении модели M ; его правильная оценка - ключ к сравнению байесовских моделей.

Учитывая проблему выбора модели, в которой мы должны выбирать между двумя моделями на основе наблюдаемых данных D , правдоподобность двух разных моделей M 1 и M 2 , параметризованных векторами параметров модели и , оценивается с помощью байесовского фактора K, заданного к

Когда две модели имеют равную априорную вероятность, так что байесовский фактор равен отношению апостериорных вероятностей M 1 и M 2 . Если вместо интеграла байесовского фактора используется вероятность, соответствующая оценке максимального правдоподобия параметра для каждой статистической модели, тогда тест становится классическим тестом отношения правдоподобия . В отличие от теста отношения правдоподобия, это сравнение байесовской модели не зависит от какого-либо одного набора параметров, поскольку оно интегрируется по всем параметрам в каждой модели (относительно соответствующих априорных значений). Однако преимущество использования байесовских факторов заключается в том, что оно автоматически и вполне естественно включает штраф за включение слишком большой структуры модели. Таким образом, это защищает от переобучения . Для моделей, в которых явная версия вероятности недоступна или слишком затратна для численной оценки, приблизительные байесовские вычисления могут использоваться для выбора модели в байесовской структуре, с оговоркой, что приближенные байесовские оценки байесовских факторов часто смещены.

Другие подходы:

Интерпретация

Значение K > 1 означает, что M 1 более сильно поддерживается рассматриваемыми данными, чем M 2 . Обратите внимание, что классическая проверка гипотез придает предпочтительный статус одной гипотезе (или модели) («нулевая гипотеза») и рассматривает только доказательства против нее. Гарольд Джеффрис дал шкалу интерпретации K :

K dHart биты Сила доказательств
<10 0 <0 <0 Отрицательный (поддерживает M 2 )
10 0 до 10 1/2 От 0 до 5 От 0 до 1,6 Вряд ли стоит упоминать
От 10 1/2 до 10 1 От 5 до 10 От 1,6 до 3,3 Существенный
10 1 до 10 3/2 С 10 до 15 От 3,3 до 5,0 Сильный
От 10 3/2 до 10 2 15-20 От 5,0 до 6,6 Очень сильный
> 10 2 > 20 > 6,6 Решительный

Во втором столбце приведены соответствующие веса свидетельств в децихартли (также известные как децибаны ); биты добавлены в третий столбец для ясности. Согласно IJ Good, изменение веса свидетельства на 1 децибан или 1/3 бита (т. Е. Изменение отношения шансов с равных примерно до 5: 4) примерно настолько тонко, насколько люди могут разумно воспринимать степень своей веры. в гипотезе повседневного использования.

Альтернативная таблица, которую часто цитируют, предоставлена ​​Кассом и Рафтери (1995):

log 10 K K Сила доказательств
От 0 до 1/2 От 1 до 3,2 Не стоит больше упоминания
1/2 к 1 3,2 к 10 Существенный
1 к 2 От 10 до 100 Сильный
> 2 > 100 Решительный

Пример

Предположим, у нас есть случайная переменная, которая приводит либо к успеху, либо к провалу. Мы хотим сравнить модель M 1, где вероятность успеха q = ½, и другую модель M 2, где q неизвестно, и мы берем априорное распределение для q , равномерное на [0,1]. Мы берем выборку из 200 и находим 115 успешных и 85 неудачных. Правдоподобие можно рассчитать по биномиальному распределению :

Таким образом, для M 1

тогда как для M 2 мы имеем

Соотношение тогда составляет 1,2, что «едва ли стоит упоминать», даже если оно очень незначительно указывает на M 1 .

Частотный критерий проверки гипотезы о М 1 (здесь рассматривается в качестве нулевой гипотезы ) произвел бы совершенно иной результат. Такой тест говорит, что M 1 следует отклонить на уровне значимости 5%, поскольку вероятность получения 115 или более успехов из выборки из 200, если q = ½, составляет 0,02, и как двусторонний тест получения числа как крайнее значение, равное или более экстремальное, чем 115, равно 0,04. Обратите внимание, что 115 больше чем на два стандартных отклонения от 100. Таким образом, в то время как частотный тест гипотез даст значимые результаты на уровне значимости 5%, фактор Байеса вряд ли считает это крайним результатом. Обратите внимание, однако, что неравномерный априор (например, тот, который отражает тот факт, что вы ожидаете, что количество успехов и неудач будет одного порядка величины) может привести к байесовскому фактору, который больше согласуется с частотным. проверка гипотез.

Классический тест отношения правдоподобия нашел бы оценку максимального правдоподобия для q , а именно 115200 = 0,575, откуда

(а не усреднение по всем возможным q ). Это дает отношение правдоподобия 0,1 и указывает на M 2 .

M 2 является более сложной моделью, чем M 1, потому что у нее есть свободный параметр, который позволяет ей более точно моделировать данные. Способность Байес факторов принимать это во внимание , является причиной , почему вывод байесовского был выдвинут в качестве теоретического обоснования для и обобщений Оккама , уменьшая ошибку типа I .

С другой стороны, современный метод относительного правдоподобия учитывает количество свободных параметров в моделях, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M 1 имеет 0 параметров, поэтому ее значение AIC составляет 2 · 0 - 2 · ln (0,005956) = 10,2467. Модель M 2 имеет 1 параметр, поэтому ее значение AIC составляет 2 · 1 - 2 · ln (0,056991) = 7,7297. Следовательно, M 1 примерно exp ((7,7297 - 10,2467) / 2) = 0,284 раза вероятнее, чем M 2, чтобы минимизировать потерю информации. Таким образом, M 2 является немного предпочтительным, но M 1 нельзя исключать.

Смотрите также

Статистические соотношения

использованная литература

дальнейшее чтение

  • Бернардо, Дж .; Смит, AFM (1994). Байесовская теория . Джон Вили. ISBN 0-471-92416-4.
  • Денисон, DGT; Холмс, CC; Маллик, Б.К .; Смит, AFM (2002). Байесовские методы нелинейной классификации и регрессии . Джон Вили. ISBN 0-471-49036-9.
  • Диенес, З. (2019). Как мне узнать, что предсказывает моя теория? Достижения в методах и практиках психологической науки doi : 10.1177 / 2515245919876960
  • Дуда, Ричард О .; Харт, Питер Э .; Аист, Дэвид Г. (2000). «Раздел 9.6.5». Классификация паттернов (2-е изд.). Вайли. С. 487–489. ISBN 0-471-05669-3.
  • Гельман, А .; Carlin, J .; Stern, H .; Рубин, Д. (1995). Байесовский анализ данных . Лондон: Чепмен и Холл . ISBN 0-412-03991-5.
  • Джейнс, ET (1994), Теория вероятностей: логика науки , глава 24.
  • Ли, ПМ (2012). Байесовская статистика: введение . Вайли. ISBN 9781118332573.
  • Винклер, Роберт (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN 0-9647938-4-9.

внешние ссылки