Фактор Байеса - Bayes factor
В статистике использование байесовских факторов является байесовской альтернативой классической проверке гипотез . Сравнение байесовских моделей - это метод выбора моделей, основанный на байесовских факторах. Рассматриваемые модели являются статистическими . Целью байесовского фактора является количественная оценка поддержки одной модели над другой, независимо от того, верны ли эти модели. Техническое определение «поддержки» в контексте байесовского вывода описывается ниже.
Определение
Байесовский фактор представляет собой отношение правдоподобия из предельной вероятности двух конкурирующих гипотез, как правило, нулевых и альтернативы.
Апостериорная вероятность модель- М данных данных D дается теоремой Байеса :
Ключевой термин, зависящий от данных, представляет собой вероятность того, что некоторые данные получены в предположении модели M ; его правильная оценка - ключ к сравнению байесовских моделей.
Учитывая проблему выбора модели, в которой мы должны выбирать между двумя моделями на основе наблюдаемых данных D , правдоподобность двух разных моделей M 1 и M 2 , параметризованных векторами параметров модели и , оценивается с помощью байесовского фактора K, заданного к
Когда две модели имеют равную априорную вероятность, так что байесовский фактор равен отношению апостериорных вероятностей M 1 и M 2 . Если вместо интеграла байесовского фактора используется вероятность, соответствующая оценке максимального правдоподобия параметра для каждой статистической модели, тогда тест становится классическим тестом отношения правдоподобия . В отличие от теста отношения правдоподобия, это сравнение байесовской модели не зависит от какого-либо одного набора параметров, поскольку оно интегрируется по всем параметрам в каждой модели (относительно соответствующих априорных значений). Однако преимущество использования байесовских факторов заключается в том, что оно автоматически и вполне естественно включает штраф за включение слишком большой структуры модели. Таким образом, это защищает от переобучения . Для моделей, в которых явная версия вероятности недоступна или слишком затратна для численной оценки, приблизительные байесовские вычисления могут использоваться для выбора модели в байесовской структуре, с оговоркой, что приближенные байесовские оценки байесовских факторов часто смещены.
Другие подходы:
- рассматривать сравнение моделей как проблему принятия решения , вычисляя ожидаемое значение или стоимость каждого выбора модели;
- использовать минимальную длину сообщения (MML).
Интерпретация
Значение K > 1 означает, что M 1 более сильно поддерживается рассматриваемыми данными, чем M 2 . Обратите внимание, что классическая проверка гипотез придает предпочтительный статус одной гипотезе (или модели) («нулевая гипотеза») и рассматривает только доказательства против нее. Гарольд Джеффрис дал шкалу интерпретации K :
K | dHart | биты | Сила доказательств |
---|---|---|---|
<10 0 | <0 | <0 | Отрицательный (поддерживает M 2 ) |
10 0 до 10 1/2 | От 0 до 5 | От 0 до 1,6 | Вряд ли стоит упоминать |
От 10 1/2 до 10 1 | От 5 до 10 | От 1,6 до 3,3 | Существенный |
10 1 до 10 3/2 | С 10 до 15 | От 3,3 до 5,0 | Сильный |
От 10 3/2 до 10 2 | 15-20 | От 5,0 до 6,6 | Очень сильный |
> 10 2 | > 20 | > 6,6 | Решительный |
Во втором столбце приведены соответствующие веса свидетельств в децихартли (также известные как децибаны ); биты добавлены в третий столбец для ясности. Согласно IJ Good, изменение веса свидетельства на 1 децибан или 1/3 бита (т. Е. Изменение отношения шансов с равных примерно до 5: 4) примерно настолько тонко, насколько люди могут разумно воспринимать степень своей веры. в гипотезе повседневного использования.
Альтернативная таблица, которую часто цитируют, предоставлена Кассом и Рафтери (1995):
log 10 K | K | Сила доказательств |
---|---|---|
От 0 до 1/2 | От 1 до 3,2 | Не стоит больше упоминания |
1/2 к 1 | 3,2 к 10 | Существенный |
1 к 2 | От 10 до 100 | Сильный |
> 2 | > 100 | Решительный |
Пример
Предположим, у нас есть случайная переменная, которая приводит либо к успеху, либо к провалу. Мы хотим сравнить модель M 1, где вероятность успеха q = ½, и другую модель M 2, где q неизвестно, и мы берем априорное распределение для q , равномерное на [0,1]. Мы берем выборку из 200 и находим 115 успешных и 85 неудачных. Правдоподобие можно рассчитать по биномиальному распределению :
Таким образом, для M 1
тогда как для M 2 мы имеем
Соотношение тогда составляет 1,2, что «едва ли стоит упоминать», даже если оно очень незначительно указывает на M 1 .
Частотный критерий проверки гипотезы о М 1 (здесь рассматривается в качестве нулевой гипотезы ) произвел бы совершенно иной результат. Такой тест говорит, что M 1 следует отклонить на уровне значимости 5%, поскольку вероятность получения 115 или более успехов из выборки из 200, если q = ½, составляет 0,02, и как двусторонний тест получения числа как крайнее значение, равное или более экстремальное, чем 115, равно 0,04. Обратите внимание, что 115 больше чем на два стандартных отклонения от 100. Таким образом, в то время как частотный тест гипотез даст значимые результаты на уровне значимости 5%, фактор Байеса вряд ли считает это крайним результатом. Обратите внимание, однако, что неравномерный априор (например, тот, который отражает тот факт, что вы ожидаете, что количество успехов и неудач будет одного порядка величины) может привести к байесовскому фактору, который больше согласуется с частотным. проверка гипотез.
Классический тест отношения правдоподобия нашел бы оценку максимального правдоподобия для q , а именно 115 ⁄ 200 = 0,575, откуда
(а не усреднение по всем возможным q ). Это дает отношение правдоподобия 0,1 и указывает на M 2 .
M 2 является более сложной моделью, чем M 1, потому что у нее есть свободный параметр, который позволяет ей более точно моделировать данные. Способность Байес факторов принимать это во внимание , является причиной , почему вывод байесовского был выдвинут в качестве теоретического обоснования для и обобщений Оккама , уменьшая ошибку типа I .
С другой стороны, современный метод относительного правдоподобия учитывает количество свободных параметров в моделях, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M 1 имеет 0 параметров, поэтому ее значение AIC составляет 2 · 0 - 2 · ln (0,005956) = 10,2467. Модель M 2 имеет 1 параметр, поэтому ее значение AIC составляет 2 · 1 - 2 · ln (0,056991) = 7,7297. Следовательно, M 1 примерно exp ((7,7297 - 10,2467) / 2) = 0,284 раза вероятнее, чем M 2, чтобы минимизировать потерю информации. Таким образом, M 2 является немного предпочтительным, но M 1 нельзя исключать.
Смотрите также
- Информационный критерий Акаике
- Приближенное байесовское вычисление
- Байесовский информационный критерий
- Информационный критерий отклонения
- Парадокс Линдли
- Минимальная длина сообщения
- Выбор модели
- Статистические соотношения
использованная литература
дальнейшее чтение
- Бернардо, Дж .; Смит, AFM (1994). Байесовская теория . Джон Вили. ISBN 0-471-92416-4.
- Денисон, DGT; Холмс, CC; Маллик, Б.К .; Смит, AFM (2002). Байесовские методы нелинейной классификации и регрессии . Джон Вили. ISBN 0-471-49036-9.
- Диенес, З. (2019). Как мне узнать, что предсказывает моя теория? Достижения в методах и практиках психологической науки doi : 10.1177 / 2515245919876960
- Дуда, Ричард О .; Харт, Питер Э .; Аист, Дэвид Г. (2000). «Раздел 9.6.5». Классификация паттернов (2-е изд.). Вайли. С. 487–489. ISBN 0-471-05669-3.
- Гельман, А .; Carlin, J .; Stern, H .; Рубин, Д. (1995). Байесовский анализ данных . Лондон: Чепмен и Холл . ISBN 0-412-03991-5.
- Джейнс, ET (1994), Теория вероятностей: логика науки , глава 24.
- Ли, ПМ (2012). Байесовская статистика: введение . Вайли. ISBN 9781118332573.
- Винклер, Роберт (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN 0-9647938-4-9.
внешние ссылки
- BayesFactor - пакет R для вычисления байесовских факторов в общих исследовательских проектах.
- Калькулятор байесовского фактора - онлайн-калькулятор информированных байесовских факторов
- Калькуляторы байесовского фактора - веб-версия большей части пакета BayesFactor