Совместное распределение вероятностей - Joint probability distribution

${\ displaystyle X}$

${\ displaystyle Y}$

${\ displaystyle p (X)}$

${\ displaystyle p (Y)}$

Многие выборочные наблюдения (черные) показаны из совместного распределения вероятностей. Также показаны предельные плотности.

Часть серии по статистике
Теория вероятности
Вероятность Аксиомы Детерминизм Система Индетерминизм Случайность
Вероятностное пространство Образец пространства Мероприятие Коллективно исчерпывающие события Элементарное мероприятие Взаимная эксклюзивность Исход Синглтон Эксперимент Бернулли суд Распределение вероятностей Распределение Бернулли Биномиальное распределение Нормальное распределение Вероятностная мера Случайная переменная Процесс Бернулли Непрерывный или дискретный Ожидаемое значение Цепь Маркова Наблюдаемое значение Случайная прогулка Стохастический процесс
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма
v т е

Для заданных случайных величин , которые определены в вероятностном пространстве , совместное распределение вероятностей для представляет собой распределение вероятностей, которое дает вероятность того, что каждая из них попадает в какой-либо конкретный диапазон или дискретный набор значений, указанных для этой переменной. В случае только двух случайных величин это называется двумерным распределением , но эта концепция распространяется на любое количество случайных величин, давая многомерное распределение . ${\ Displaystyle X, Y, \ ldots}$${\ Displaystyle X, Y, \ ldots}$${\ Displaystyle X, Y, \ ldots}$

Совместное распределение вероятностей может быть выражено в терминах совместной кумулятивной функции распределения и либо в терминах совместной функции плотности вероятности (в случае непрерывных переменных ), либо в терминах совместной функции массы вероятности (в случае дискретных переменных). Их, в свою очередь, можно использовать для нахождения двух других типов распределений: предельное распределение, дающее вероятности для любой из переменных без ссылки на какие-либо конкретные диапазоны значений для других переменных, и условное распределение вероятностей, дающее вероятности для любой из переменных. подмножество переменных, обусловленных конкретными значениями остальных переменных.

Примеры

Рисует из урны

Предположим, что каждая из двух урн содержит вдвое больше красных шаров, чем синих шаров, и не содержит других, и предположим, что из каждой урны случайным образом выбирается один шар, причем два розыгрыша не зависят друг от друга. Позвольте и быть дискретными случайными величинами, связанными с результатами розыгрыша из первой и второй урны соответственно. Вероятность вытащить красный шар из любой из урн - 2/3, а вероятность вытащить синий шар - 1/3. Совместное распределение вероятностей представлено в следующей таблице: ${\ displaystyle A}$${\ displaystyle B}$

Каждая из четырех внутренних ячеек показывает вероятность конкретной комбинации результатов двух ничьих; эти вероятности являются совместным распределением. В любой одной ячейке вероятность возникновения конкретной комбинации (поскольку ничьи независимы) является произведением вероятности указанного результата для A и вероятности указанного результата для B. Сумма вероятностей в этих четырех ячейках равна 1, как это всегда верно для вероятностных распределений.

Более того, последняя строка и последний столбец дают предельное распределение вероятностей для A и предельное распределение вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей того, что A будет красным, независимо от того, какая вероятность для B в столбце над ячейкой возникает, как 2/3. Таким образом, предельное распределение вероятностей дает безусловные вероятности на полях таблицы. ${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$

Подбрасывание монет

Рассмотрим подбрасывание двух честных монет ; пусть и будут дискретными случайными величинами, связанными с результатами первого и второго подбрасывания монеты соответственно. Каждый подбрасывание монеты представляет собой испытание Бернулли и имеет распределение Бернулли . Если на монете отображается «орел», то соответствующая случайная величина принимает значение 1, в противном случае - значение 0. Вероятность каждого из этих исходов равна 1/2, поэтому маргинальные (безусловные) функции плотности равны ${\ displaystyle A}$${\ displaystyle B}$

${\ Displaystyle P (A) = 1/2 \ quad {\ text {for}} \ quad A \ in \ {0,1 \};}$

${\ Displaystyle P (B) = 1/2 \ quad {\ text {for}} \ quad B \ in \ {0,1 \}.}$

Совместная функция массы вероятностей и определяет вероятности для каждой пары исходов. Все возможные исходы ${\ displaystyle A}$${\ displaystyle B}$

${\ displaystyle (A = 0, B = 0), (A = 0, B = 1), (A = 1, B = 0), (A = 1, B = 1).}$

Поскольку каждый исход одинаково вероятен, совместная функция массы вероятности принимает вид

${\ Displaystyle P (A, B) = 1/4 \ quad {\ text {for}} \ quad A, B \ in \ {0,1 \}.}$

Поскольку подбрасывания монеты независимы, совместная функция массы вероятности является произведением маргиналов:

${\ Displaystyle P (A, B) = P (A) P (B) \ quad {\ text {for}} \ quad A, B \ in \ {0,1 \}.}$

Бросая кости

Рассмотрим бросок честных кубиков и пусть, если число четное (например, 2, 4 или 6), и в противном случае. Кроме того, пусть, если число простое (например, 2, 3 или 5), и в противном случае. ${\ displaystyle A = 1}$${\ displaystyle A = 0}$${\ displaystyle B = 1}$${\ displaystyle B = 0}$

Тогда совместное распределение и , выраженное как функция массы вероятности, имеет вид ${\ displaystyle A}$${\ displaystyle B}$

${\ Displaystyle \ mathrm {P} (A = 0, B = 0) = P \ {1 \} = {\ frac {1} {6}}, \ quad \ quad \ mathrm {P} (A = 1, B = 0) = P \ {4,6 \} = {\ frac {2} {6}},}$

${\ Displaystyle \ mathrm {P} (A = 0, B = 1) = P \ {3,5 \} = {\ frac {2} {6}}, \ quad \ quad \ mathrm {P} (A = 1, B = 1) = P \ {2 \} = {\ frac {1} {6}}.}$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность того, что какая-то комбинация и произойдет, равна 1. ${\ displaystyle A}$${\ displaystyle B}$

Пример из реальной жизни

Рассмотрим производство, которое заполняет пластиковые бутылки стиральным порошком. Измеряется вес каждой бутылки (Y) и объем содержащегося в ней стирального порошка (X).

Распределение предельной вероятности

Если в случайном эксперименте определяется более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной в отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем, предельное распределение вероятностей X может быть определено из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайных величин X и Y равна , функция предельной плотности вероятности X и Y, которая определяет предельное распределение , определяется как: ${\ displaystyle f_ {X, Y} (x, y)}$

${\ Displaystyle f_ {X} (x) = \ int f_ {X, Y} (x, y) \; dy}$ , ${\ Displaystyle f_ {Y} (y) = \ int f_ {X, Y} (x, y) \; dx}$

где первый интеграл берется по всем точкам в диапазоне (X, Y), для которых X = x, а второй интеграл по всем точкам в диапазоне (X, Y), для которых Y = y.

Совместная кумулятивная функция распределения

Для пары случайных величин совместная кумулятивная функция распределения (CDF) задается выражением ${\ displaystyle X, Y}$${\ displaystyle F_ {XY}}$

${\ Displaystyle F_ {X, Y} (х, y) = \ OperatorName {P} (X \ leq x, Y \ leq y)}$

( Уравнение 1 )

где правая часть представляет собой вероятность того, что случайная величина принимает значение, меньшее или равное, и которое принимает значение, меньшее или равное . ${\ displaystyle X}$${\ displaystyle x}$ ${\ displaystyle Y}$${\ displaystyle y}$

Для случайных величин совместный CDF имеет вид ${\ displaystyle N}$${\ Displaystyle X_ {1}, \ ldots, X_ {N}}$${\ Displaystyle F_ {X_ {1}, \ ldots, X_ {N}}}$

${\ Displaystyle F_ {X_ {1}, \ ldots, X_ {N}} (x_ {1}, \ ldots, x_ {N}) = \ operatorname {P} (X_ {1} \ leq x_ {1}, \ ldots, X_ {N} \ leq x_ {N})}$

( Уравнение 2 )

Интерпретация случайных величин как случайного вектора дает более короткую запись: ${\ displaystyle N}$ ${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {N}) ^ {T}}$

${\ displaystyle F _ {\ mathbf {X}} (\ mathbf {x}) = \ operatorname {P} (X_ {1} \ leq x_ {1}, \ ldots, X_ {N} \ leq x_ {N}) }$

Совместная функция плотности или функция массы

Дискретный корпус

Совместная функция масс вероятности двух дискретных случайных величин равна: ${\ displaystyle X, Y}$

${\ Displaystyle p_ {X, Y} (x, y) = \ mathrm {P} (X = x \ \ mathrm {и} \ Y = y)}$

( Уравнение 3 )

или написано в терминах условных распределений

${\ displaystyle p_ {X, Y} (x, y) = \ mathrm {P} (Y = y \ mid X = x) \ cdot \ mathrm {P} (X = x) = \ mathrm {P} (X = x \ mid Y = y) \ cdot \ mathrm {P} (Y = y)}$

где есть вероятность того, из учитывая , что . ${\ Displaystyle \ mathrm {P} (Y = y \ mid X = x)}$${\ displaystyle Y = y}$${\ displaystyle X = x}$

Обобщением предыдущего случая с двумя переменными является совместное распределение вероятностей дискретных случайных величин : ${\ Displaystyle п \,}$${\ displaystyle X_ {1}, X_ {2}, \ dots, X_ {n}}$

${\ displaystyle p_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) = \ mathrm {P} (X_ {1} = x_ {1} {\ текст {и}} \ точки {\ текст {и}} X_ {n} = x_ {n})}$

( Уравнение 4 )

или эквивалентно

${\ displaystyle {\ begin {align} p_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) & = \ mathrm {P} (X_ {1} = x_ {1}) \ cdot \ mathrm {P} (X_ {2} = x_ {2} \ mid X_ {1} = x_ {1}) \\ & \ cdot \ mathrm {P} (X_ {3} = x_ {3} \ mid X_ {1} = x_ {1}, X_ {2} = x_ {2}) \\ & \ dots \\ & \ cdot P (X_ {n} = x_ {n} \ mid X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ dots, X_ {n-1} = x_ {n-1}). \ End {выровнено}}}$.

Это тождество известно как цепное правило вероятности .

Поскольку это вероятности, в случае двух переменных

${\ Displaystyle \ сумма _ {я} \ сумма _ {j} \ mathrm {P} (X = x_ {i} \ \ mathrm {and} \ Y = y_ {j}) = 1, \,}$

который обобщается для дискретных случайных величин на ${\ Displaystyle п \,}$${\ displaystyle X_ {1}, X_ {2}, \ dots, X_ {n}}$

${\ displaystyle \ sum _ {i} \ sum _ {j} \ dots \ sum _ {k} \ mathrm {P} (X_ {1} = x_ {1i}, X_ {2} = x_ {2j}, \ точки, X_ {n} = x_ {nk}) = 1. \;}$

Непрерывный случай

Совместная вероятность того, функция плотности для двух непрерывных случайных величин определяется как производная совместной интегральной функции распределения (см Eq.1 ): ${\ displaystyle f_ {X, Y} (x, y)}$

${\ displaystyle f_ {X, Y} (x, y) = {\ frac {\ partial ^ {2} F_ {X, Y} (x, y)} {\ partial x \ partial y}}}$

( Уравнение 5 )

Это равно:

${\ Displaystyle f_ {X, Y} (x, y) = f_ {Y \ mid X} (y \ mid x) f_ {X} (x) = f_ {X \ mid Y} (x \ mid y) f_ {Y} (y)}$

где и являются условными распределениями из даны и даны соответственно, и и являются маргинальными распределениями для и соответственно. ${\ displaystyle f_ {Y \ mid X} (y \ mid x)}$${\ displaystyle f_ {X \ mid Y} (x \ mid y)}$${\ displaystyle Y}$${\ displaystyle X = x}$${\ displaystyle X}$${\ displaystyle Y = y}$${\ displaystyle f_ {X} (x)}$${\ displaystyle f_ {Y} (y)}$${\ displaystyle X}$${\ displaystyle Y}$

Определение естественным образом распространяется на более чем две случайные величины:

${\ displaystyle f_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) = {\ frac {\ partial ^ {n} F_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n})} {\ partial x_ {1} \ ldots \ partial x_ {n}}}}$

( Уравнение 6 )

Опять же, поскольку это вероятностные распределения, мы имеем

${\ displaystyle \ int _ {x} \ int _ {y} f_ {X, Y} (x, y) \; dy \; dx = 1}$

соответственно

${\ displaystyle \ int _ {x_ {1}} \ ldots \ int _ {x_ {n}} f_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n }) \; dx_ {n} \ ldots \; dx_ {1} = 1}$

Смешанный случай

«Плотность смешанных стыков» может быть определена, если одна или несколько случайных величин являются непрерывными, а другие случайные величины - дискретными. С одной переменной каждого типа

${\ displaystyle {\ begin {align} f_ {X, Y} (x, y) = f_ {X \ mid Y} (x \ mid y) \ mathrm {P} (Y = y) = \ mathrm {P} (Y = y \ mid X = x) f_ {X} (x). \ End {выравнивается}}}$

Один пример ситуации, в которой кто-то может пожелать найти кумулятивное распределение одной случайной переменной, которая является непрерывной, и другой случайной переменной, которая является дискретной, возникает, когда кто-то желает использовать логистическую регрессию для прогнозирования вероятности двоичного результата Y, обусловленного ценность непрерывно распределенного результата . Один должны использовать «смешанную» совместную плотность при нахождении кумулятивного распределения этого двоичного результата , так как входные переменных были изначально определены таким образом , чтобы никто не мог коллективно назначить его либо функцию плотности вероятности или функцию вероятности массы. Формально, функция плотности вероятности относительно меры продукта на соответствующих опорах из и . Затем любое из этих двух разложений можно использовать для восстановления совместной кумулятивной функции распределения: ${\ displaystyle X}$${\ displaystyle (X, Y)}$${\ displaystyle f_ {X, Y} (x, y)}$${\ displaystyle (X, Y)}$${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle {\ begin {align} F_ {X, Y} (x, y) & = \ sum \ limits _ {t \ leq y} \ int _ {s = - \ infty} ^ {x} f_ {X , Y} (s, t) \; ds. \ End {align}}}$

Определение обобщается на смесь произвольного числа дискретных и непрерывных случайных величин.

Дополнительные свойства

Совместное распределение для независимых переменных

В целом два случайных величин и являются независимыми , если и только если совместной кумулятивной функцией распределения удовлетворяет ${\ displaystyle X}$${\ displaystyle Y}$

${\ Displaystyle F_ {X, Y} (x, y) = F_ {X} (x) \ cdot F_ {Y} (y)}$

Две дискретные случайные величины и независимы тогда и только тогда, когда совместная функция массы вероятности удовлетворяет ${\ displaystyle X}$${\ displaystyle Y}$

${\ Displaystyle P (Икс = х \ {\ mbox {и}} \ Y = y) = P (X = x) \ cdot P (Y = y)}$

для всех и . ${\ displaystyle x}$${\ displaystyle y}$

По мере того как количество независимых случайных событий растет, соответствующее значение совместной вероятности быстро уменьшается до нуля в соответствии с отрицательным экспоненциальным законом.

Точно так же две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

${\ Displaystyle f_ {X, Y} (x, y) = f_ {X} (x) \ cdot f_ {Y} (y)}$

для всех и . Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, которое идентично ее безусловному (маргинальному) распределению; таким образом, никакая переменная не предоставляет никакой информации ни о какой другой переменной. ${\ displaystyle x}$${\ displaystyle y}$

Совместное распределение для условно зависимых переменных

Если подмножество переменных является условно - зависимым дано другим подмножеством из этих переменных, то функция вероятности массы совместного распределения . равно . Следовательно, это может быть эффективно представлено низкоразмерными распределениями вероятностей и . Такие отношения условной независимости могут быть представлены байесовской сетью или функциями копул . ${\ displaystyle A}$${\ Displaystyle X_ {1}, \ cdots, X_ {n}}$${\ displaystyle B}$${\ Displaystyle \ mathrm {P} (X_ {1}, \ ldots, X_ {n})}$${\ Displaystyle \ mathrm {P} (X_ {1}, \ ldots, X_ {n})}$${\ Displaystyle Р (В) \ CDOT Р (А \ середина В)}$${\ Displaystyle P (B)}$${\ displaystyle P (A \ mid B)}$

Ковариация

Когда две или несколько случайных величин определены в вероятностном пространстве, полезно описать, как они изменяются вместе; то есть полезно измерить взаимосвязь между переменными. Распространенной мерой связи между двумя случайными величинами является ковариация. Ковариация - это мера линейной связи между случайными величинами. Если связь между случайными величинами нелинейна, ковариация может не зависеть от этой связи, что означает, что она не связывает корреляцию между двумя переменными.

Ковариация между случайной величиной X и Y, обозначенная как cov (X, Y), равна:

${\ Displaystyle \ sigma _ {XY} = E [(X- \ mu _ {x}) (Y- \ mu _ {y})] = E (XY) - \ mu _ {x} \ mu _ {y }}$

Корреляция

Существует еще одна мера связи между двумя случайными величинами, которую часто легче интерпретировать, чем ковариацию.

Корреляция просто масштабирует ковариацию на произведение стандартного отклонения каждой переменной. Следовательно, корреляция - это безразмерная величина, которую можно использовать для сравнения линейных отношений между парами переменных в разных единицах измерения. Если точки в совместном распределении вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию падать вдоль линии положительного (или отрицательного) наклона, ρ _XY находится около +1 (или -1). Если ρ _XY равно +1 или -1, можно показать, что точки в совместном распределении вероятностей, которые получают положительную вероятность, падают точно вдоль прямой линии. Две случайные величины с ненулевой корреляцией называются коррелированными. Подобно ковариации, корреляция - это мера линейной связи между случайными величинами.

Корреляция между случайной величиной X и Y, обозначенная как

${\ displaystyle \ rho _ {XY} = {\ frac {cov (X, Y)} {\ sqrt {V (X) V (Y)}}} = {\ frac {\ sigma _ {XY}} {\ сигма _ {X} \ sigma _ {Y}}}}$

Важные именованные дистрибутивы

Именованные совместные распределения, которые часто возникают в статистике, включают многомерное нормальное распределение , многомерное стабильное распределение , полиномиальное распределение , отрицательное полиномиальное распределение , многомерное гипергеометрическое распределение и эллиптическое распределение .

Смотрите также

• Байесовское программирование
• Дерево Чау – Лю
• Условная возможность
• Копула (теория вероятностей)
• Теорема дезинтеграции
• Многовариантная статистика
• Статистическая интерференция
• Попарно независимое распределение

использованная литература

внешние ссылки

• "Совместное распространение" , Энциклопедия математики , EMS Press , 2001 [1994]
• "Многомерное распределение" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Современное введение в вероятность и статистику: понимание, почему и как . Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005. ISBN  978-1-85233-896-1 . OCLC  262680588.
• «Совместная непрерывная функция плотности» . PlanetMath .
• Mathworld: совместная функция распределения