Закон полной дисперсии - Law of total variance

В теории вероятностей , то закон общей дисперсии или разложение дисперсии формулы или условной дисперсия формул или закона повторных дисперсий также известные как права Евы , утверждает , что если X и Y являются случайными величинами на то же вероятностном пространстве , и дисперсия из Y конечна , тогда

${\ displaystyle \ operatorname {Var} (Y) = \ operatorname {E} [\ operatorname {Var} (Y \ mid X)] + \ operatorname {Var} (\ operatorname {E} [Y \ mid X]). }$

На языке, который, возможно, лучше известен статистикам, чем теоретикам вероятности, эти два термина представляют собой «необъяснимый» и «объясненный» компоненты дисперсии соответственно (ср. Долю необъяснимой дисперсии , объясненную вариацию ). В актуарной науке , в частности в теории достоверности , первый компонент называется ожидаемым значением дисперсии процесса ( EVPV ), а второй - дисперсией гипотетических средних ( VHM ). Эти два компонента также являются источником термина «закон Евы», от инициалов EV VE, означающих «ожидание дисперсии» и «дисперсия ожидания».

Формулировка

Существует общая формула разложения дисперсии для c  ≥ 2 компонентов (см. Ниже). Например, с двумя условными случайными величинами:

${\ displaystyle \ operatorname {Var} [Y] = \ operatorname {E} [\ operatorname {Var} (Y \ mid X_ {1}, X_ {2})] + \ operatorname {E} [\ operatorname {Var} (\ operatorname {E} [Y \ mid X_ {1}, X_ {2}] \ mid X_ {1})] + \ operatorname {Var} (\ operatorname {E} [Y \ mid X_ {1}]) ,}$

что следует из закона полной условной дисперсии:

${\ displaystyle \ operatorname {Var} (Y \ mid X_ {1}) = \ operatorname {E} \ left [\ operatorname {Var} (Y \ mid X_ {1}, X_ {2}) \ mid X_ {1 } \ right] + \ operatorname {Var} \ left (\ operatorname {E} \ left [Y \ mid X_ {1}, X_ {2} \ right] \ mid X_ {1} \ right).}$

Обратите внимание , что условное математическое ожидание E ( Y | X ) является случайной величиной в своем собственном праве, значение которого зависит от величины X . Обратите внимание, что условное ожидаемое значение Y для события X  =  x является функцией x (именно здесь становится важным соблюдение общепринятых и строго чувствительных к регистру обозначений теории вероятностей!). Если мы напишем E (  Y  |  X  =  x ) =  g ( x ), то случайная величина E ( Y | X ) будет просто g ( X ). Подобные комментарии относятся к условной дисперсии .

Один особый случай (аналогичный закону полного ожидания ) гласит, что если это раздел всего пространства результатов, т.е. эти события являются взаимоисключающими и исчерпывающими, то ${\ displaystyle A_ {1}, \ ldots, A_ {n}}$

${\ displaystyle {\ begin {align} \ operatorname {Var} (X) = {} & \ sum _ {i = 1} ^ {n} \ operatorname {Var} (X \ mid A_ {i}) \ Pr ( A_ {i}) + \ sum _ {i = 1} ^ {n} \ operatorname {E} [X \ mid A_ {i}] ^ {2} (1- \ Pr (A_ {i})) \ Pr (A_ {i}) \\ [4pt] & {} - 2 \ sum _ {i = 2} ^ {n} \ sum _ {j = 1} ^ {i-1} \ operatorname {E} [X \ середина A_ {i}] \ Pr (A_ {i}) \ operatorname {E} [X \ mid A_ {j}] \ Pr (A_ {j}). \ end {выровнено}}}$

В этой формуле первый компонент - это математическое ожидание условной дисперсии; два других компонента - это дисперсия условного ожидания.

Доказательство

Закон полной дисперсии можно доказать с помощью закона полного ожидания . Первый,

${\ displaystyle \ operatorname {Var} [Y] = \ operatorname {E} [Y ^ {2}] - \ operatorname {E} [Y] ^ {2}}$

из определения дисперсии. Опять же, исходя из определения дисперсии и применения закона полного ожидания, мы имеем

${\ displaystyle \ operatorname {E} [Y ^ {2}] = \ operatorname {E} \ left [\ operatorname {Var} [Y \ mid X] + [\ operatorname {E} [Y \ mid X]] ^ {2} \ right]}$

Теперь мы перепишем условный второй момент Y в терминах его дисперсии и первого момента и применим закон полного математического ожидания с правой стороны:

${\ displaystyle \ operatorname {E} [Y ^ {2}] - \ operatorname {E} [Y] ^ {2} = \ operatorname {E} \ left [\ operatorname {Var} [Y \ mid X] + [ \ operatorname {E} [Y \ mid X]] ^ {2} \ right] - [\ operatorname {E} [\ operatorname {E} [Y \ mid X]]] ^ {2}}$

Поскольку ожидание суммы - это сумма ожиданий, теперь можно перегруппировать условия:

${\ displaystyle = \ left (\ operatorname {E} [\ operatorname {Var} [Y \ mid X]] \ right) + \ left (\ operatorname {E} [\ operatorname {E} [Y \ mid X] ^ {2}] - \ operatorname {E} [\ operatorname {E} [Y \ mid X]] ^ {2} \ right)}$

Наконец, мы распознаем члены во втором наборе круглых скобок как дисперсию условного ожидания E [ Y  | X ]:

${\ displaystyle = \ operatorname {E} [\ operatorname {Var} [Y \ mid X]] + \ operatorname {Var} [\ operatorname {E} [Y \ mid X]]}$

Разложение общей дисперсии, применимое к динамическим системам

Следующая формула показывает, как применить общую теоретико-мерную формулу разложения дисперсии к стохастическим динамическим системам. Пусть Y ( t ) будет значением системной переменной в момент времени t . Предположим, у нас есть внутренние истории ( естественные фильтрации ) , каждая из которых соответствует истории (траектории) различного набора системных переменных. Коллекции не обязательно должны быть непересекающимися. Дисперсия Y ( t ) для всех моментов времени t может быть разложена  на c  ≥ 2 компонентов следующим образом: ${\ displaystyle H_ {1t}, H_ {2t}, \ ldots, H_ {c-1, t}}$

${\ displaystyle {\ begin {align} \ operatorname {Var} [Y (t)] = {} & \ operatorname {E} (\ operatorname {Var} [Y (t) \ mid H_ {1t}, H_ {2t }, \ ldots, H_ {c-1, t}]) \\ [4pt] & {} + \ sum _ {j = 2} ^ {c-1} \ operatorname {E} (\ operatorname {Var} [ \ operatorname {E} [Y (t) \ mid H_ {1t}, H_ {2t}, \ ldots, H_ {jt}] \ mid H_ {1t}, H_ {2t}, \ ldots, H_ {j-1 , t}]) \\ [4pt] & {} + \ operatorname {Var} (\ operatorname {E} [Y (t) \ mid H_ {1t}]). \ end {align}}}$

Разложение не уникально. Это зависит от порядка кондиционирования при последовательном разложении.

Квадрат корреляции и объясненная (или информационная) вариация

В случаях, когда ( Y ,  X ) таковы, что условное ожидаемое значение является линейным; т.е. в случаях, когда

${\ displaystyle \ operatorname {E} (Y \ mid X) = aX + b,}$

из билинейности ковариантности следует, что

${\ displaystyle a = {\ operatorname {Cov} (Y, X) \ over \ operatorname {Var} (X)}}$

а также

${\ displaystyle b = \ operatorname {E} (Y) - {\ operatorname {Cov} (Y, X) \ over \ operatorname {Var} (X)} \ operatorname {E} (X)}$

и объясненный компонент дисперсии, деленный на общую дисперсию, представляет собой просто квадрат корреляции между Y и X ; т.е. в таких случаях

${\ displaystyle {\ operatorname {Var} (\ operatorname {E} (Y \ mid X)) \ over \ operatorname {Var} (Y)} = \ operatorname {Corr} (X, Y) ^ {2}.}$

Одним из примеров такой ситуации является случай, когда ( X , Y ) имеют двумерное нормальное (гауссово) распределение.

В более общем смысле, когда условное ожидание E ( Y | X ) является нелинейной функцией от  X

${\ displaystyle \ iota _ {Y \ mid X} = {\ operatorname {Var} (\ operatorname {E} (Y \ mid X)) \ over \ operatorname {Var} (Y)} = \ operatorname {Corr} ( \ operatorname {E} (Y \ mid X), Y) ^ {2},}$

который можно оценить как квадрат R из нелинейной регрессии Y по X , используя данные, полученные из совместного распределения ( X , Y ). Когда E ( Y | X ) имеет гауссово распределение (и является обратимой функцией от X ) или Y сам имеет (маргинальное) гауссово распределение, этот объясненный компонент вариации устанавливает нижнюю границу взаимной информации :

${\ displaystyle \ operatorname {I} (Y; X) \ geq \ ln ([1- \ iota _ {Y \ mid X}] ^ {- 1/2}).}$

Высшие моменты

Аналогичный закон для третьего центрального момента μ ₃ говорит

${\ displaystyle \ mu _ {3} (Y) = \ operatorname {E} (\ mu _ {3} (Y \ mid X)) + \ mu _ {3} (\ operatorname {E} (Y \ mid X )) + 3 \ operatorname {cov} (\ operatorname {E} (Y \ mid X), \ operatorname {var} (Y \ mid X)).}$

Для более высоких кумулянтов существует обобщение. См. Закон полной совокупности .

Смотрите также

• Закон полной ковариации , обобщение
• Закон распространения ошибок

Рекомендации

• Блицштейн, Джо. «Стат 110 Окончательный обзор (Закон Евы)» (PDF) . stat110.net . Гарвардский университет, статистический факультет . Проверено 9 июля 2014 года .
• Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, Нью-Йорк: ISBN John Wiley & Sons, Inc. 0-471-00710-2. (Проблема 34.10 (b))