Нормально распределенный и некоррелированный не означает независимого - Normally distributed and uncorrelated does not imply independent

В теории вероятностей , хотя простые примеры показывают, что линейная некоррелированность двух случайных величин, как правило, не означает их независимости , иногда ошибочно полагают, что это подразумевает, что, когда две случайные величины имеют нормальное распределение . В этой статье показано, что предположение о нормальном распределении не имеет таких последствий, хотя многомерное нормальное распределение , включая двумерное нормальное распределение , имеет.

Для того, чтобы сказать , что пара случайных величин имеет двумерное нормальное распределение средств , что любой линейной комбинации из и для постоянной (т.е. не случайных) коэффициентов и имеет одномерное нормальное распределение. В том случае, если и некоррелированы, то они независимы. Тем не менее, это возможно для двух случайных величин и быть распределены таким образом совместно , что только каждый из них незначительно распределен нормально, и они не коррелирует, но они не являются независимыми; примеры приведены ниже. ${\ displaystyle (X, Y)}$ ${\ displaystyle aX + bY}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle a}$${\ displaystyle b}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle Y}$

Примеры

Симметричный пример

Совместный ассортимент и . Более темный цвет означает более высокое значение функции плотности.${\ displaystyle X}$${\ displaystyle Y}$

Предположим, имеется нормальное распределение с математическим ожиданием 0 и дисперсией 1. Пусть имеется распределение Радемахера , так что или , каждое с вероятностью 1/2, и предположим, не зависят от . Пусть . потом ${\ displaystyle X}$${\ displaystyle W}$${\ displaystyle W = 1}$${\ displaystyle W = -1}$${\ displaystyle W}$${\ displaystyle X}$${\ displaystyle Y = WX}$

• ${\ displaystyle X}$и некоррелированы;${\ displaystyle Y}$
• оба имеют одинаковое нормальное распределение; а также
• ${\ displaystyle X}$и не являются независимыми.${\ displaystyle Y}$

Чтобы увидеть, что и некоррелированы, можно рассмотреть ковариацию : по определению, это ${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle \ operatorname {cov} (X, Y)}$

${\ displaystyle \ operatorname {cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y).}$

Тогда по определению случайных величин , и , и независимости от , имеем ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$${\ displaystyle W}$${\ displaystyle X}$

${\ displaystyle \ operatorname {cov} (X, Y) = \ operatorname {E} (XY) -0 = \ operatorname {E} (X ^ {2} W) = \ operatorname {E} (X ^ {2} ) \ operatorname {E} (W) = \ operatorname {E} (X ^ {2}) \ cdot 0 = 0.}$

Чтобы увидеть, что это имеет такое же нормальное распределение, как и ${\ displaystyle Y}$${\ displaystyle X}$

${\ displaystyle {\ begin {align} \ Pr (Y \ leq x) & {} = \ operatorname {E} (\ Pr (Y \ leq x \ mid W)) \\ & {} = \ Pr (X \ leq x) \ Pr (W = 1) + \ Pr (-X \ leq x) \ Pr (W = -1) \\ & {} = \ Phi (x) \ cdot {\ frac {1} {2} } + \ Phi (x) \ cdot {\ frac {1} {2}} \ end {align}}}$

(поскольку и оба имеют одинаковое нормальное распределение), где - кумулятивная функция распределения Стандартного нормального распределения. ${\ displaystyle X}$${\ displaystyle -X}$${\ Displaystyle \ Phi (х)}$

Чтобы увидеть то и не быть независимым, понаблюдайте за тем или иным . ${\ displaystyle X}$${\ displaystyle Y}$${\ Displaystyle | Y | = | X |}$${\ Displaystyle \ OperatorName {Pr} (Y> 1 | X = 1/2) = \ OperatorName {Pr} (X> 1 | X = 1/2) = 0}$

Наконец, распределение простой линейной комбинации концентратов положительной вероятности при 0: . Следовательно, случайная величина не имеет нормального распределения, а значит, и совместно не имеет нормального распределения (по определению выше). ${\ displaystyle X + Y}$${\ Displaystyle \ OperatorName {Pr} (X + Y = 0) = 1/2}$${\ displaystyle X + Y}$${\ displaystyle X}$${\ displaystyle Y}$

Асимметричный пример

Совместная плотность и . Темнее означает более высокое значение плотности.${\ displaystyle X}$${\ displaystyle Y}$

Предположим, имеется нормальное распределение с математическим ожиданием 0 и дисперсией 1. Пусть ${\ displaystyle X}$

${\ Displaystyle Y = \ left \ {{\ begin {matrix} X & {\ text {if}} \ left | X \ right | \ leq c \\ - X & {\ text {if}} \ left | X \ right |> c \ end {matrix}} \ right.}$

где - положительное число, которое необходимо указать ниже. Если очень мало, то корреляция близка, если очень большая, то близка к 1. Поскольку корреляция является непрерывной функцией от , теорема о промежуточном значении подразумевает, что существует какое-то конкретное значение, которое делает корреляцию 0. Это значение приблизительно равно 1. 1.54. В таком случае и некоррелированы, но они явно не независимы, поскольку полностью определяет . ${\ displaystyle c}$${\ displaystyle c}$ ${\ displaystyle \ operatorname {corr} (X, Y)}$${\ displaystyle -1}$${\ displaystyle c}$${\ displaystyle \ operatorname {corr} (X, Y)}$${\ displaystyle c}$${\ displaystyle c}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle Y}$

Чтобы увидеть, что оно нормально распределено - действительно, его распределение такое же, как и у - можно вычислить его кумулятивную функцию распределения : ${\ displaystyle Y}$${\ displaystyle X}$

${\ Displaystyle {\ begin {align} \ Pr (Y \ Leq x) & = \ Pr (\ {| X | \ leq c {\ text {and}} X \ Leq x \} {\ text {или}} \ {| X |> c {\ text {and}} - X \ leq x \}) \\ & = \ Pr (| X | \ leq c {\ text {and}} X \ leq x) + \ Pr (| X |> c {\ text {and}} - X \ leq x) \\ & = \ Pr (| X | \ leq c {\ text {and}} X \ leq x) + \ Pr (| X |> c {\ text {and}} X \ leq x) \\ & = \ Pr (X \ leq x), \ end {align}}}$

где предпоследнее равенство следует из симметрии распределения и симметрии условия, что . ${\ displaystyle X}$${\ displaystyle | X | \ leq c}$

В этом примере разница далека от нормального распределения, поскольку имеет значительную вероятность (около 0,88) того, что она равна 0. Напротив, нормальное распределение, будучи непрерывным распределением, не имеет дискретной части, то есть он не концентрирует больше, чем нулевую вероятность в какой-либо одной точке. Следовательно, и не распространяются совместно нормально, даже если они нормально распространяются по отдельности. ${\ displaystyle XY}$${\ displaystyle X}$${\ displaystyle Y}$

Примеры с поддержкой почти всюду в ℝ ²

Хорошо известно , что отношение двух независимых стандартных нормальных случайных отклоняются и имеет распределение Коши . Можно одинаково хорошо начать с случайной величины Коши и получить условное распределение , чтобы удовлетворить требование , согласно которому с и независимым и стандартным нормальным. Проворачивая математику, обнаруживаешь, что ${\ displaystyle C}$${\ displaystyle X_ {i}}$${\ displaystyle Y_ {i}}$${\ displaystyle C}$${\ displaystyle Y_ {i}}$${\ displaystyle X_ {i} = CY_ {i}}$${\ displaystyle X_ {i}}$${\ displaystyle Y_ {i}}$

${\ displaystyle Y_ {i} = W_ {i} {\ sqrt {\ frac {\ chi _ {i} ^ {2} \ left (k = 2 \ right)} {1 + C ^ {2}}}} }$

в котором случайная величина Радемахер и является хи-квадрат случайной величины с двумя степенями свободы. ${\ displaystyle W_ {i}}$${\ Displaystyle \ чи _ {я} ^ {2} \ влево (к = 2 \ вправо)}$

Рассмотрим два множества , . Обратите внимание, что не индексируется, то есть одна и та же случайная величина Коши используется в определении как и . Такое разделение результатов приводит к зависимостям между индексами: ни от них, ни от них . Тем не менее, все и некоррелированы, поскольку все двумерные распределения имеют симметрию отражения по осям. ${\ displaystyle \ left (X_ {i}, Y_ {i} \ right)}$${\ Displaystyle я \ в \ влево \ {1,2 \ вправо \}}$${\ displaystyle C}$${\ displaystyle i}$${\ displaystyle C}$${\ displaystyle \ left (X_ {1}, Y_ {1} \ right)}$${\ displaystyle \ left (X_ {2}, Y_ {2} \ right)}$${\ displaystyle C}$${\ displaystyle X_ {1}}$${\ displaystyle Y_ {1}}$${\ displaystyle Y_ {2}}$${\ displaystyle X_ {i}}$${\ displaystyle Y_ {i}}$

Ненормальные совместные распределения с нормальными краями.

На рисунке показаны диаграммы рассеяния выборок, взятых из приведенного выше распределения. Это дает два примера двумерных распределений, которые некоррелированы и имеют нормальные маржинальные распределения, но не являются независимыми. На левой панели показано совместное распределение и ; дистрибутив поддерживается везде, но не у истоков. Правая панель показывает совместное распределение и ; распределение имеет поддержку везде, кроме осей, и имеет разрыв в начале координат: плотность расходится при приближении к началу координат по любому прямому пути, кроме осей. ${\ displaystyle X_ {1}}$${\ displaystyle Y_ {2}}$${\ displaystyle Y_ {1}}$${\ displaystyle Y_ {2}}$

Смотрите также

• Корреляция и зависимость

Рекомендации

Заметки