Сложное распределение вероятностей - Compound probability distribution

В вероятности и статистике , А распределение соединения вероятности (также известное как распределение смеси или контагиозное распределение ) является распределением вероятностей , что результаты при условии , что случайная величина распределена в соответствии с некоторым параметризованномом распределения, причем (некоторые) параметрами этого распределения сами являются случайными величинами. Если параметр является масштабным параметром , полученная смесь также называется масштабной смесью .

Составное распределение («безусловное распределение») является результатом маргинализации (интегрирования) по скрытой случайной величине (ам), представляющей параметр (ы) параметризованного распределения («условное распределение»).

Определение

Распределение вероятностей соединения является распределением вероятности того, что результаты при условии , что случайная величина распределена по некоторому параметризованному распределения с неизвестным параметром , который снова распределяется в соответствии с каким - либо другим распределением . Получившееся распределение называется распределением, полученным в результате сложения с . Распределение параметра также называется распределением смешивания или скрытым распределением . Технически, безусловные распределения результатов от маргинализации более , то есть, от интеграции из неизвестного параметра (ов) . Его функция плотности вероятности определяется как: ${\ displaystyle X}$ ${\ displaystyle F}$ ${\ displaystyle \ theta}$ ${\ displaystyle G}$ ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle G}$ ${\ displaystyle G}$ ${\ displaystyle H}$ ${\ displaystyle G}$ ${\ displaystyle \ theta}$

{\ displaystyle p_ {H} (x) = {\ displaystyle \ int \ limits p_ {F} (x | \ theta) \, p_ {G} (\ theta) \ operatorname {d} \! \ theta}}

Та же формула применяется аналогично, если некоторые или все переменные являются векторами.

Из приведенных выше формул, можно увидеть , что распределение соединения по существу является частным случаем маргинального распределения : совместное распределение по и задается , и соединение его результаты , как маргинальное распределение: . Если область дискретна, то распределение снова является частным случаем смешанного распределения . ${\ displaystyle x}$ ${\ displaystyle \ theta}$ ${\ Displaystyle п (х, \ тета) = п (х | \ тета) р (\ тета)}$ ${\ displaystyle {\ textstyle p (x) = \ int p (x, \ theta) \ operatorname {d} \! \ theta}}$ ${\ displaystyle \ theta}$

Характеристики

Составное распределение во многом напоминает исходное распределение, которое его сгенерировало, но обычно имеет большую дисперсию и часто также тяжелые хвосты . Поддержка из такой же , как поддержка со стороны , и часто форма во многом аналогична , как хорошо. Параметры включают любые параметры из или , которые не были исключены. ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle H}$ ${\ displaystyle G}$ ${\ displaystyle F}$

Первые два момента составного распределения даются

{\ displaystyle \ operatorname {E} _ {H} [X] = \ operatorname {E} _ {G} {\ bigl [} \ operatorname {E} _ {F} [X | \ theta] {\ bigr]} }

а также

{\ displaystyle \ operatorname {Var} _ {H} (X) = \ operatorname {E} _ {G} {\ bigl [} \ operatorname {Var} _ {F} (X | \ theta) {\ bigr]} + \ operatorname {Var} _ {G} {\ bigl (} \ operatorname {E} _ {F} [X | \ theta] {\ bigr)}}

( Закон полной дисперсии ).

Приложения

Тестирование

Распределения общей статистики теста получаются в виде составных распределений при их нулевой гипотезе, например, в t-критерии Стьюдента (где статистические результаты теста представлены как соотношение нормальной и случайной величины хи-квадрат ) или в F-тесте (где статистика теста - это отношение двух случайных величин хи-квадрат ).

Моделирование сверхдисперсии

Составные распределения полезны для моделирования результатов, демонстрирующих чрезмерную дисперсию , т. Е. Большую вариативность, чем можно было бы ожидать в рамках определенной модели. Например, данные подсчета обычно моделируются с использованием распределения Пуассона , дисперсия которого равна его среднему значению. Распределение можно обобщить, допустив вариативность его параметра скорости , реализованную через гамма-распределение , которое приводит к маргинальному отрицательному биномиальному распределению . Это распределение похоже по форме на распределение Пуассона, но допускает большие отклонения. Точно так же биномиальное распределение можно обобщить, чтобы учесть дополнительную изменчивость, добавив к нему бета-распределение для параметра вероятности успеха, что приводит к бета-биномиальному распределению .

Байесовский вывод

Помимо повсеместных маргинальных распределений, которые можно рассматривать как частные случаи составных распределений, в байесовском выводе составные распределения возникают, когда в приведенных выше обозначениях F представляет собой распределение будущих наблюдений, а G - апостериорное распределение параметров F с учетом информация в наборе наблюдаемых данных. Это дает апостериорное прогнозирующее распределение . Соответственно, для предварительного предиктивного распределения , F является распределением новой точки данных в то время как G является априорным распределением параметров.

Свертка

Свертка распределений вероятностей (для получения распределения вероятностей сумм случайных величин) также может рассматриваться как частный случай сложения; здесь распределение суммы по существу является результатом рассмотрения одного слагаемого как параметра случайного расположения для другого слагаемого.

Вычисление

Составные распределения, полученные из экспоненциальных семейных распределений, часто имеют замкнутую форму. Если аналитическое интегрирование невозможно, могут потребоваться численные методы.

Распределения соединений можно относительно легко исследовать с помощью методов Монте-Карло , т. Е. Путем генерации случайных выборок. Часто легко сгенерировать случайные числа из распределений, а затем использовать их для выполнения свернутой выборки Гиббса для генерации выборок . ${\ Displaystyle р (\ тета)}$ ${\ Displaystyle р (х | \ тета)}$ ${\ displaystyle p (x)}$

Составное распределение обычно также может быть аппроксимировано в достаточной степени распределением смеси с использованием конечного числа компонентов смеси, что позволяет получить приблизительную плотность, функцию распределения и т. Д.

Оценка параметров ( оценка максимального правдоподобия или максимальная апостериорная оценка) в рамках модели составного распределения иногда может быть упрощена за счет использования EM-алгоритма .

Примеры

Смеси в масштабе Гаусса:
- Составление нормального распределения с дисперсией, распределенной согласно обратному гамма-распределению (или, что эквивалентно, с точностью, распределенной как гамма-распределение ), дает нестандартизированное t-распределение Стьюдента . Это распределение имеет ту же симметричную форму, что и нормальное распределение с той же центральной точкой, но имеет большую дисперсию и тяжелые хвосты .
- Составление гауссова распределения с дисперсией, распределенной согласно экспоненциальному распределению (или со стандартным отклонением согласно распределению Рэлея ), дает распределение Лапласа .
- Составление гауссова распределения с дисперсией, распределенной согласно экспоненциальному распределению , параметр скорости которого сам распределяется согласно гамма-распределению, дает нормальное-экспоненциально-гамма-распределение . (Это включает в себя два этапа сложения. Сама дисперсия затем следует распределению Ломакса ; см. Ниже.)
- Соединение гауссова распределения со стандартным отклонением, распределенным согласно (стандартному) обратному равномерному распределению, дает распределение с косой чертой .
другие гауссовы смеси:
- Соединение гауссова распределения со средним, распределенным в соответствии с другим гауссовым распределением, дает (снова) гауссово распределение .
- Соединение гауссова распределения со средним, распределенным согласно смещенному экспоненциальному распределению, дает экспоненциально модифицированное гауссово распределение .

Компаундировании распределение Бернулли с вероятностью успеха распределенной в соответствии с распределением , который имеет определенные урожаи ожидаемого значения распределение Бернулли с вероятностью успеха . Интересным следствием является то, что дисперсия не влияет на дисперсию полученного распределения соединения. ${\ displaystyle p}$ ${\ displaystyle X}$ ${\ displaystyle E [X]}$ ${\ displaystyle X}$
Соединение биномиального распределения с вероятностью успеха, распределенной согласно бета-распределению, дает бета-биномиальное распределение . Он имеет три параметра: параметр (количество выборок) из биномиального распределения и параметров формы и из бета-распределения. ${\ displaystyle n}$ ${\ displaystyle \ alpha}$ ${\ displaystyle \ beta}$
Составление полиномиального распределения с вектором вероятности, распределенным согласно распределению Дирихле, дает полиномиальное распределение Дирихле .
Смешивать с распределением Пуассона с параметром скорости распределенного в соответствии с гамма - распределением дает отрицательное биномиальное распределение .
Сочетание экспоненциального распределения с его параметром скорости, распределенным согласно гамма-распределению, дает распределение Ломакса .
Объединение гамма-распределения с параметром обратного масштаба, распределенным в соответствии с другим гамма-распределением, дает трехпараметрическое бета-простое распределение .
Составление полунормального распределения с его масштабным параметром, распределенным согласно распределению Рэлея, дает экспоненциальное распределение . Это сразу следует из распределения Лапласа, полученного как смесь нормальных масштабов; см. выше. Здесь также можно поменять ролями условного и смешивающего распределений; следовательно, сложение распределения Рэлея с его масштабным параметром, распределенным согласно полунормальному распределению, также дает экспоненциальное распределение .
Гамма (к = 2, θ) - распределенная случайная величина, параметр масштаба θ опять равномерно распределены незначительно дает экспоненциальное распределение .

Смотрите также

дальнейшее чтение

Линдси, Б.Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятности и статистике, 5 , Хейворд, Калифорния, США: Институт математической статистики, стр. I – 163, ISBN 978-0-940600-32-4, JSTOR 4153184
Зайдель, В. (2010), «Модели смесей», в Ловриче, М. (ред.), Международная энциклопедия статистических наук , Гейдельберг: Springer, стр. 827–829, DOI : 10.1007 / 978-3-642-04898 -2_368 , ISBN 978-3-642-04898-2
Настроение, AM; Graybill, FA; Boes, DC (1974), «III.4.3 Заражающие распределения и усеченные распределения », Введение в теорию статистики (3-е изд.), Нью-Йорк: McGraw-Hill, ISBN 978-0-07-042864-5
Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005), «8 смесевых распределений », Одномерные дискретные распределения , Нью-Йорк: Wiley, ISBN. 978-0-471-27246-5

Languages

In other projects