Допустимое правило принятия решения - Admissible decision rule

В теории статистических решений , допустимое правило решения является правилом для принятия решения таким образом, что не существует никакого другого правила , которое всегда «лучше» , чем он (или , по крайней мере , иногда лучше и не хуже), в точном смысле «лучше» определено ниже. Эта концепция аналогична эффективности Парето .

Определение

Определить наборы , и , где есть состояния природы, возможные замечания и действия , которые могут быть приняты. Наблюдение распространяется по мере того, как оно дает свидетельство о состоянии природы . Правило принятия решений является функцией , где при наблюдении , мы решили принять меры . ${\ Displaystyle \ Theta \,}$ ${\ Displaystyle {\ mathcal {X}}}$ ${\ displaystyle {\ mathcal {A}}}$ ${\ Displaystyle \ Theta \,}$ ${\ Displaystyle {\ mathcal {X}}}$ ${\ displaystyle {\ mathcal {A}}}$ ${\ Displaystyle х \ в {\ mathcal {X}} \, \!}$ ${\ Displaystyle F (х \ середина \ тета) \, \!}$ ${\ displaystyle \ theta \ in \ Theta \, \!}$ ${\ displaystyle \ delta: {\ mathcal {X}} \ rightarrow {\ mathcal {A}}}$ ${\ displaystyle x \ in {\ mathcal {X}}}$ ${\ Displaystyle \ дельта (х) \ в {\ mathcal {A}} \, \!}$

Также определите функцию потерь , которая указывает потери, которые мы понесем, приняв меры при истинном состоянии природы . Обычно мы предпринимаем это действие после наблюдения за данными , чтобы была потеряна . (Можно, хотя и нетрадиционно, переработать следующие определения в терминах функции полезности , которая является отрицательной величиной потерь.) ${\ Displaystyle L: \ Theta \ times {\ mathcal {A}} \ rightarrow \ mathbb {R}}$ ${\ displaystyle a \ in {\ mathcal {A}}}$ ${\ displaystyle \ theta \ in \ Theta}$ ${\ displaystyle x \ in {\ mathcal {X}}}$ ${\ Displaystyle L (\ тета, \ дельта (х)) \, \!}$

Определите функцию риска как ожидание

{\ Displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {F (x \ mid \ theta)} [{L (\ theta, \ delta (x))]}. \, \!}

Будет ли у правила принятия решения низкий риск, зависит от истинного состояния природы . Решающее правило доминирует над решающим правилом тогда и только тогда, когда для всех , а неравенство является строгим для некоторых . ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle \ тета \, \!}$ ${\ displaystyle \ delta ^ {*} \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle Р (\ тета, \ дельта ^ {*}) \ Leq R (\ тета, \ дельта)}$ ${\ Displaystyle \ тета \, \!}$ ${\ Displaystyle \ тета \, \!}$

Решающее правило допустимо (относительно функции потерь) тогда и только тогда, когда никакое другое правило не доминирует над ним; в противном случае это недопустимо . Таким образом, допустимое решающее правило является максимальным элементом по отношению к указанному выше частичному порядку. Недопустимое правило не является предпочтительным (за исключением соображений простоты или вычислительной эффективности), поскольку по определению существует какое-то другое правило, которое обеспечивает равный или меньший риск для всех . Но то, что правило допустимо, не означает, что его следует использовать. Допустимость означает, что не существует другого единственного правила, которое всегда было бы таким же хорошим или лучшим, но другие допустимые правила могут снизить риск для большинства из тех, что встречаются на практике. (Байесовский риск, обсуждаемый ниже, является способом явного рассмотрения того, что происходит на практике.) ${\ Displaystyle \ тета \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle \ тета \, \!}$ ${\ Displaystyle \ тета \, \!}$

Правила Байеса и обобщенные правила Байеса

Правила Байеса

Позвольте быть вероятностным распределением состояний природы. С байесовской точки зрения мы рассматриваем это как априорное распределение . То есть это наше предполагаемое распределение вероятностей состояний природы до данных наблюдений. Для частотного специалиста это просто функция без особой интерпретации. Риск Байеса правила принятия решений в отношении является ожидание ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ Displaystyle \ Theta \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle \ пи (\ тета) \, \!}$

{\ displaystyle r (\ pi, \ delta) = \ operatorname {E} _ {\ pi (\ theta)} [R (\ theta, \ delta)]. \, \!}

Правило принятия решения, которое минимизирует , называется правилом Байеса по отношению к . Таких правил Байеса может быть несколько. Если байесовский риск бесконечен для всех , то правило Байеса не определено. ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle г (\ пи, \ дельта) \, \!}$ ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ displaystyle \ delta \, \!}$

Обобщенные правила Байеса

В байесовском подходе к теории принятия решений наблюдаемое считается фиксированным . В то время как частотный подход (т. Е. Риск) усредняет возможные выборки , байесовский фиксирует наблюдаемую выборку и усредняет гипотезы . Таким образом, байесовский подход заключается в рассмотрении наших наблюдаемых в ожидаемых потерях ${\ Displaystyle х \, \!}$ ${\ Displaystyle х \ в {\ mathcal {X}} \, \!}$ ${\ Displaystyle х \, \!}$ ${\ displaystyle \ theta \ in \ Theta \, \!}$ ${\ Displaystyle х \, \!}$

{\ Displaystyle \ rho (\ пи, \ дельта \ середина х) = \ OperatorName {E} _ {\ пи (\ тета \ середина х)} [L (\ тета, \ дельта (х))]. \, \ !}

где ожидание над задним из дали (получено из и используя теорему Байеса ). ${\ Displaystyle \ тета \, \!}$ ${\ Displaystyle х \, \!}$ ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ Displaystyle F (х \ середина \ тета) \, \!}$

Сделав явным ожидаемый убыток для каждого заданного отдельно, мы можем определить правило принятия решения , указав для каждого действие, которое минимизирует ожидаемые убытки. Это известно как обобщенное правило Байеса относительно . Может существовать более одного обобщенного правила Байеса, поскольку может быть несколько вариантов, позволяющих достичь одинаковых ожидаемых потерь. ${\ Displaystyle х \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle х \, \!}$ ${\ Displaystyle \ дельта (х) \, \!}$ ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ Displaystyle \ дельта (х) \, \!}$

На первый взгляд, это может показаться несколько отличным от подхода правила Байеса из предыдущего раздела, а не обобщением. Однако обратите внимание, что байесовский риск уже усредняется байесовским способом, и байесовский риск может быть восстановлен как ожидание ожидаемого убытка (где и ). Грубо говоря, минимизирует это ожидание ожидаемых потерь (т. Е. Является правилом Байеса) тогда и только тогда, когда оно минимизирует ожидаемые потери для каждого отдельно (т. Е. Является обобщенным правилом Байеса). ${\ Displaystyle \ Theta \, \!}$ ${\ Displaystyle {\ mathcal {X}}}$ ${\ Displaystyle х \ сим \ тета \, \!}$ ${\ Displaystyle \ тета \ сим \ пи \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle x \ in {\ mathcal {X}}}$

Тогда почему понятие обобщенного правила Байеса является улучшением? Это действительно эквивалентно понятию правила Байеса, когда правило Байеса существует и все имеют положительную вероятность. Однако правила Байеса не существует, если риск Байеса бесконечен (для всех ). В этом случае по-прежнему полезно определить обобщенное правило Байеса , которое, по крайней мере, выбирает действие с минимальными ожидаемыми потерями для тех, для которых действительно существует действие с конечными ожидаемыми потерями. Кроме того, может быть желательно обобщенное правило Байеса, потому что оно должно выбирать действие с минимальными ожидаемыми потерями для каждого , тогда как правилу Байеса было бы разрешено отклоняться от этой политики на наборе меры 0, не влияя на риск Байеса. ${\ Displaystyle х \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle \ дельта (х) \! \,}$ ${\ Displaystyle х \, \!}$ ${\ Displaystyle \ дельта (х) \, \!}$ ${\ Displaystyle х \, \!}$ ${\ Displaystyle X \ substeq {\ mathcal {X}}}$

Что еще более важно, иногда бывает удобно использовать неправильный приор . В этом случае байесовский риск даже не определен четко, равно как и нет четкого распределения по ним . Тем не менее, апостериор - а, следовательно, ожидаемый убыток - может быть четко определен для каждого из них , так что все еще возможно определить обобщенное правило Байеса. ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ Displaystyle х \, \!}$ ${\ Displaystyle \ пи (\ тета \ середина х) \, \!}$ ${\ Displaystyle х \, \!}$

Допустимость (обобщенных) правил Байеса

Согласно теоремам о полных классах, при мягких условиях каждое допустимое правило является (обобщенным) правилом Байеса (по отношению к некоторому априорному - возможно, неправильному правилу - которое поддерживает распределения, в которых это правило обеспечивает низкий риск). Таким образом, в частотной теории принятия решений достаточно рассматривать только (обобщенные) правила Байеса. ${\ Displaystyle \ пи (\ тета) \, \!}$ ${\ Displaystyle \ тета \, \!}$

И наоборот, в то время как правила Байеса в отношении правильных априорных значений практически всегда допустимы, обобщенные правила Байеса, соответствующие неправильным априорным признакам, не обязательно должны приводить к допустимым процедурам. Пример Штейна - одна из таких известных ситуаций.

Примеры

Оценщик Джеймса – Стейна - это нелинейный оценщик среднего гауссовских случайных векторов, который, как можно показать, доминирует или превосходит обычный метод наименьших квадратов в отношении функции потерь среднеквадратической ошибки. Таким образом, оценка методом наименьших квадратов не является допустимой процедурой оценки в этом контексте. Некоторые другие стандартные оценки, связанные с нормальным распределением , также недопустимы: например, выборочная оценка дисперсии, когда среднее значение генеральной совокупности и дисперсия неизвестны.

Примечания

использованная литература

Кокс, Д.Р .; Хинкли, Д.В. (1974). Теоретическая статистика . Вайли. ISBN 0-412-12420-3.
Бергер, Джеймс О. (1980). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Springer-Verlag. ISBN 0-387-96098-8.
ДеГрут, Моррис (2004) [1-е. паб. 1970]. Оптимальные статистические решения . Библиотека Wiley Classics. ISBN 0-471-68029-X.
Роберт, Кристиан П. (1994). Байесовский выбор . Springer-Verlag. ISBN 3-540-94296-3.

Languages

In other projects