Информационный критерий отклонения - Deviance information criterion

Информационный критерий девиации ( ДВС - синдром ) представляет собой иерархическое моделирование обобщение информационного критерия Акаика (АИК). Это особенно полезно в байесовской выбора модели задач , где задние распределения этих моделей были получены с помощью цепи Маркова Монте - Карло моделирования (MCMC). DIC - это асимптотическое приближение по мере увеличения размера выборки, как и AIC. Это справедливо только тогда, когда апостериорное распределение является приблизительно многомерным нормальным .

Определение

Определение девиантности как , где находятся данные, неизвестные параметры модели и является функцией правдоподобия . - это константа, которая сокращается во всех расчетах, сравнивающих разные модели, и поэтому ее не нужно знать. ${\ Displaystyle D (\ theta) = - 2 \ журнал (p (y | \ theta)) + C \,}$${\ displaystyle y}$${\ displaystyle \ theta}$${\ Displaystyle р (у | \ тета)}$${\ displaystyle C}$

Обычно используются два расчета эффективного числа параметров модели. Первый, как описано в Spiegelhalter et al. (2002 , с. 587) , где находится ожидание . Второй, как описано у Gelman et al. (2004 , с. 182), есть . Чем больше эффективное количество параметров, тем легче модели подобрать данные, и поэтому отклонение необходимо штрафовать. ${\ displaystyle p_ {D} = {\ overline {D (\ theta)}} - D ({\ bar {\ theta}})}$${\ displaystyle {\ bar {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle p_ {D} = p_ {V} = {\ frac {1} {2}} {\ overline {\ operatorname {var} \ left (D (\ theta) \ right)}}}$

Информационный критерий отклонения рассчитывается как

${\ displaystyle \ mathrm {DIC} = p_ {D} + {\ overline {D (\ theta)}},}$

или эквивалентно как

${\ displaystyle \ mathrm {DIC} = D ({\ bar {\ theta}}) + 2p_ {D}.}$

Из этой последней формы более очевидна связь с AIC.

Мотивация

Идея состоит в том, что модели с меньшим DIC следует предпочесть моделям с большим DIC. Модели наказываются как значением , которое способствует хорошей подгонке, так и (аналогично AIC) эффективным количеством параметров . Поскольку будет уменьшаться по мере увеличения числа параметров в модели, этот член компенсирует этот эффект, отдавая предпочтение моделям с меньшим числом параметров. ${\ displaystyle {\ bar {D}}}$${\ displaystyle p_ {D}}$${\ displaystyle {\ bar {D}}}$${\ displaystyle p_ {D}}$

Преимущество DIC по сравнению с другими критериями в случае выбора байесовской модели состоит в том, что DIC легко вычисляется из выборок, сгенерированных симуляцией цепи Маркова методом Монте-Карло. AIC требует вычисления максимального правдоподобия , которое не всегда доступно при моделировании MCMC. Но чтобы вычислить DIC, просто вычислите как среднее значение по выборкам , и как значение, оцененное как среднее значение выборок . Тогда ДИК следует непосредственно из этих приближений. Клаескенс и Хьорт (2008, гл. 3.5) показывают, что DIC эквивалентен для большой выборки естественной модельно-устойчивой версии AIC. ${\ displaystyle \ theta}$${\ displaystyle {\ bar {D}}}$${\ Displaystyle D (\ theta)}$${\ displaystyle \ theta}$${\ displaystyle D ({\ bar {\ theta}})}$${\ displaystyle D}$${\ displaystyle \ theta}$

Предположения

При выводе DIC предполагается, что указанное параметрическое семейство распределений вероятностей, которые генерируют будущие наблюдения, включает истинную модель. Это предположение не всегда выполняется, и в этом сценарии желательно рассмотреть процедуры оценки модели.

Кроме того, наблюдаемые данные используются как для построения апостериорного распределения, так и для оценки оцененных моделей. Поэтому DIC склонен выбирать модели с избыточным подогревом .

Расширения

Решение вышеперечисленных проблем было предложено Андо (2007) с предложением байесовского критерия прогнозирующей информации (BPIC). Андо (2010, гл. 8) представил обсуждение различных критериев выбора байесовской модели. Чтобы избежать чрезмерных проблем DIC, Андо (2011) разработал критерии выбора байесовской модели с точки зрения прогнозирования. Критерий рассчитывается как

${\ Displaystyle {\ mathit {IC}} = {\ bar {D}} + 2p_ {D} = - 2 \ mathbf {E} ^ {\ theta} [\ log (p (y | \ theta))] + 2p_ {D}.}$

Первый член - это мера того, насколько хорошо модель соответствует данным, а второй член - это штраф за сложность модели. Обратите внимание, что p в этом выражении - это прогнозируемое распределение, а не вероятность, указанная выше.

Смотрите также

• Информационный критерий Акаике (AIC)
• Байесовский информационный критерий (BIC)
• Критерий сфокусированной информации (FIC)
• Информационный критерий Ханнана-Куинна
• Дивергенция Кульбака – Лейблера.
• Расхождение Дженсена – Шеннона
• Информационный критерий Ватанабэ – Акаике (WAIC)

использованная литература

внешние ссылки

• Макэлрит, Ричард (29 января 2015 г.). «Статистическое переосмысление, лекция 8 (по DIC и другим информационным критериям)» - через YouTube .