Момент-генерирующая функция - Moment-generating function

В теории вероятностей и статистике , то момент, производящая функция от вещественной случайной величины является альтернативой спецификации ее распределения вероятностей . Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с работой непосредственно с функциями плотности вероятности или кумулятивными функциями распределения . Имеются особенно простые результаты для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие моменты.

Как следует из названия, функция , производящая момент, может использоваться для вычисления моментов распределения : n- й момент около 0 - это n- я производная функции создания момента, вычисленная как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция действительного распределения не всегда существует, в отличие от характеристической функции . Есть отношения между поведением функции распределения момента, порождающей момент, и свойствами распределения, такими как наличие моментов.

Определение

Позвольте быть случайной величиной с cdf . Производящая функция момента (mgf) для (или ), обозначаемая как , равна ${\ displaystyle X}$ ${\ displaystyle F_ {X}}$${\ displaystyle X}$${\ displaystyle F_ {X}}$${\ Displaystyle M_ {X} (т)}$

${\ displaystyle M_ {X} (t) = \ operatorname {E} \ left [e ^ {tX} \ right]}$

условие , что это ожидание существует в некоторых окрестностях точки 0. То есть, есть такой , что для всех ин , существует. Если математическое ожидание не существует в окрестности 0, мы говорим, что функция, производящая момент, не существует. ${\ displaystyle t}$${\ displaystyle h> 0}$${\ displaystyle t}$${\ displaystyle -h <t <h}$${\ displaystyle \ operatorname {E} \ left [e ^ {tX} \ right]}$

Другими словами, функция X, создающая момент, является математическим ожиданием случайной величины . В более общем плане , когда , - мерный случайный вектор , и это фиксированный вектор, используется вместо  : ${\ displaystyle e ^ {tX}}$${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ mathrm {T}}}$${\ displaystyle n}$${\ Displaystyle \ mathbf {т}}$${\ Displaystyle \ mathbf {т} \ cdot \ mathbf {X} = \ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}}$${\ displaystyle tX}$

${\ displaystyle M _ {\ mathbf {X}} (\ mathbf {t}): = \ operatorname {E} \ left (e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}} \верно).}$

${\ displaystyle M_ {X} (0)}$всегда существует и равно 1. Однако ключевая проблема с функциями, производящими момент, состоит в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл ограниченной функции на пространстве конечной меры ) и для некоторых целей может использоваться вместо этого.

Функция создания моментов названа так потому, что ее можно использовать для нахождения моментов распределения. Расширение серии составляет ${\ displaystyle e ^ {tX}}$

${\ displaystyle e ^ {t \, X} = 1 + t \, X + {\ frac {t ^ {2} \, X ^ {2}} {2!}} + {\ frac {t ^ {3} \, X ^ {3}} {3!}} + \ Cdots + {\ frac {t ^ {n} \, X ^ {n}} {n!}} + \ Cdots.}$

Следовательно

${\ displaystyle {\ begin {align} M_ {X} (t) = \ operatorname {E} (e ^ {t \, X}) & = 1 + t \ operatorname {E} (X) + {\ frac { t ^ {2} \ operatorname {E} (X ^ {2})} {2!}} + {\ frac {t ^ {3} \ operatorname {E} (X ^ {3})} {3!} } + \ cdots + {\ frac {t ^ {n} \ operatorname {E} (X ^ {n})} {n!}} + \ cdots \\ & = 1 + tm_ {1} + {\ frac { t ^ {2} m_ {2}} {2!}} + {\ frac {t ^ {3} m_ {3}} {3!}} + \ cdots + {\ frac {t ^ {n} m_ { n}} {n!}} + \ cdots, \ end {align}}}$

где это й момент . Дифференцируя времена по и полагая , получаем момент -й относительно начала координат ,; см. Расчет моментов ниже. ${\ displaystyle m_ {n}}$${\ displaystyle n}$${\ Displaystyle M_ {X} (т)}$ ${\ displaystyle i}$${\ displaystyle t}$${\ displaystyle t = 0}$${\ displaystyle i}$${\ displaystyle m_ {i}}$

Если - непрерывная случайная величина, то выполняется следующая связь между ее функцией, производящей момент, и двусторонним преобразованием Лапласа ее функции плотности вероятности : ${\ displaystyle X}$${\ Displaystyle M_ {X} (т)}$${\ displaystyle f_ {X} (x)}$

${\ Displaystyle M_ {X} (t) = {\ mathcal {L}} \ {f_ {X} \} (- t),}$

так как двустороннее преобразование Лапласа PDF задается как

${\ Displaystyle {\ mathcal {L}} \ {f_ {X} \} (s) = \ int _ {- \ infty} ^ {\ infty} e ^ {- sx} f_ {X} (x) \, dx,}$

а определение функции, производящей момент, расширяется (по закону бессознательного статистика ) до

${\ displaystyle M_ {X} (t) = \ operatorname {E} \ left [e ^ {tX} \ right] = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f_ {X} (х) \, dx.}$

Это согласуется с характеристической функцией будучи вращения Фитиль из когда функция генерирования момент существует, так как характеристическая функция непрерывной случайной переменной является преобразованием Фурье его функции плотности вероятности , и в общем случае, когда функция имеет экспоненциального порядка , преобразование Фурье представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. См. Соотношение преобразований Фурье и Лапласа для получения дополнительной информации. ${\ displaystyle X}$${\ Displaystyle M_ {X} (т)}$${\ displaystyle X}$${\ displaystyle f_ {X} (x)}$${\ displaystyle f (x)}$${\ displaystyle f}$

Примеры

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Можно видеть, что характеристическая функция является вращением Вика функции, производящей момент, когда последняя существует. ${\ Displaystyle M_ {X} (т)}$

Распределение	Момент-генерирующая функция ${\ Displaystyle M_ {X} (т)}$	Характеристическая функция ${\ Displaystyle \ varphi (т)}$
Вырожденный ${\ displaystyle \ delta _ {a}}$	${\ displaystyle e ^ {ta}}$	${\ displaystyle e ^ {ita}}$
Бернулли ${\ Displaystyle P (X = 1) = p}$	${\ displaystyle 1-p + pe ^ {t}}$	${\ displaystyle 1-p + pe ^ {it}}$
Геометрический ${\ Displaystyle (1-р) ^ {к-1} \, р}$	${\ displaystyle {\ frac {pe ^ {t}} {1- (1-p) e ^ {t}}}}$ ${\ Displaystyle \ forall т <- \ пер (1-р)}$	${\ displaystyle {\ frac {pe ^ {it}} {1- (1-p) \, e ^ {it}}}}$
Биномиальный ${\ Displaystyle В (п, р)}$	${\ displaystyle \ left (1-p + pe ^ {t} \ right) ^ {n}}$	${\ displaystyle \ left (1-p + pe ^ {it} \ right) ^ {n}}$
Отрицательный бином ${\ Displaystyle \ OperatorName {NB} (г, р)}$	${\ displaystyle \ left ({\ frac {pe ^ {t}} {1-e ^ {t} + pe ^ {t}}} \ right) ^ {r}}$	${\ displaystyle \ left ({\ frac {pe ^ {it}} {1-e ^ {it} + pe ^ {it}}} \ right) ^ {r}}$
Пуассон ${\ displaystyle \ operatorname {Pois} (\ lambda)}$	${\ Displaystyle е ^ {\ лямбда (е ^ {т} -1)}}$	${\ Displaystyle е ^ {\ лямбда (е ^ {это} -1)}}$
Равномерное (непрерывное) ${\ Displaystyle \ OperatorName {U} (а, б)}$	${\ Displaystyle {\ гидроразрыва {е ^ {tb} -e ^ {та}} {т (ба)}}}$	${\ displaystyle {\ frac {e ^ {itb} -e ^ {ita}} {it (ba)}}}$
Равномерное (дискретное) ${\ Displaystyle \ OperatorName {DU} (а, б)}$	${\ displaystyle {\ frac {e ^ {at} -e ^ {(b + 1) t}} {(b-a + 1) (1-e ^ {t})}}}$	${\ displaystyle {\ frac {e ^ {ait} -e ^ {(b + 1) it}} {(b-a + 1) (1-e ^ {it})}}}$
Лаплас ${\ Displaystyle L (\ му, Ь)}$	${\ displaystyle {\ frac {e ^ {t \ mu}} {1-b ^ {2} t ^ {2}}}, ~ | t | <1 / b}$	${\ displaystyle {\ frac {e ^ {it \ mu}} {1 + b ^ {2} t ^ {2}}}}$
Нормальный ${\ Displaystyle N (\ му, \ sigma ^ {2})}$	${\ Displaystyle е ^ {т \ му + {\ гидроразрыва {1} {2}} \ sigma ^ {2} т ^ {2}}}$	${\ displaystyle e ^ {it \ mu - {\ frac {1} {2}} \ sigma ^ {2} t ^ {2}}}$
Хи-квадрат ${\ displaystyle \ chi _ {k} ^ {2}}$	${\ displaystyle (1-2t) ^ {- {\ frac {k} {2}}}}$	${\ displaystyle (1-2it) ^ {- {\ frac {k} {2}}}}$
Нецентральный хи-квадрат ${\ Displaystyle \ чи _ {к} ^ {2} (\ лямбда)}$	${\ displaystyle e ^ {\ lambda t / (1-2t)} (1-2t) ^ {- {\ frac {k} {2}}}}$	${\ displaystyle e ^ {я \ lambda t / (1-2it)} (1-2it) ^ {- {\ frac {k} {2}}}}$
Гамма ${\ Displaystyle \ Гамма (к, \ тета)}$	${\ displaystyle (1-t \ theta) ^ {- k}, ~ \ forall t <{\ tfrac {1} {\ theta}}}$	${\ Displaystyle (1-оно \ тета) ^ {- к}}$
Экспоненциальный ${\ displaystyle \ operatorname {Exp} (\ lambda)}$	${\ displaystyle \ left (1-t \ lambda ^ {- 1} \ right) ^ {- 1}, ~ t <\ lambda}$	${\ displaystyle \ left (1-it \ lambda ^ {- 1} \ right) ^ {- 1}}$
Многомерный нормальный ${\ Displaystyle N (\ mathbf {\ mu}, \ mathbf {\ Sigma})}$	${\ displaystyle e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ left ({\ boldsymbol {\ mu}} + {\ frac {1} {2}} \ mathbf {\ Sigma t} \ right )}}$	${\ displaystyle e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ left (i {\ boldsymbol {\ mu}} - {\ frac {1} {2}} {\ boldsymbol {\ Sigma}} \ mathbf {t} \ right)}}$
Коши ${\ displaystyle \ operatorname {Cauchy} (\ mu, \ theta)}$	Не существует	${\ Displaystyle е ^ {это \ му - \ тета | т |}}$
Многомерный Коши ${\ displaystyle \ operatorname {MultiCauchy} (\ mu, \ Sigma)}$	Не существует	${\ displaystyle \! \, e ^ {я \ mathbf {t} ^ {\ mathrm {T}} {\ boldsymbol {\ mu}} - {\ sqrt {\ mathbf {t} ^ {\ mathrm {T}} {\ boldsymbol {\ Sigma}} \ mathbf {t}}}}}$

Расчет

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массовой вероятности ,${\ displaystyle M_ {X} (t) = \ sum _ {i = 1} ^ {\ infty} e ^ {tx_ {i}} \, p_ {i}}$
• Для непрерывной функции плотности вероятности ,${\ Displaystyle M_ {X} (t) = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f (x) \, dx}$
• В общем случае: с использованием интеграла Римана – Стилтьеса , где - интегральная функция распределения .${\ Displaystyle M_ {X} (t) = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} \, dF (x)}$${\ displaystyle F}$

Следует отметить , что для случая , когда имеет непрерывную функцию плотности вероятности , является преобразованием двухсторонней Лапласы из . ${\ displaystyle X}$ ${\ displaystyle f (x)}$${\ Displaystyle M_ {X} (- t)}$${\ displaystyle f (x)}$

${\ Displaystyle {\ begin {align} M_ {X} (t) & = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f (x) \, dx \\ & = \ int _ {- \ infty} ^ {\ infty} \ left (1 + tx + {\ frac {t ^ {2} x ^ {2}} {2!}} + \ cdots + {\ frac {t ^ {n} x) ^ {n}} {n!}} + \ cdots \ right) f (x) \, dx \\ & = 1 + tm_ {1} + {\ frac {t ^ {2} m_ {2}} {2 !}} + \ cdots + {\ frac {t ^ {n} m_ {n}} {n!}} + \ cdots, \ end {align}}}$

где это й момент . ${\ displaystyle m_ {n}}$${\ displaystyle n}$

Линейные преобразования случайных величин

Если случайная величина имеет производящую функцию момента , то имеет производящую функцию момента${\ displaystyle X}$${\ Displaystyle M_ {X} (т)}$${\ Displaystyle \ альфа Х + \ бета}$${\ Displaystyle М _ {\ альфа Икс + \ бета} (т) = е ^ {\ бета т} М_ {Х} (\ альфа т)}$

${\ Displaystyle M _ {\ альфа X + \ бета} (t) = E [e ^ {(\ alpha X + \ beta) t}] = e ^ {\ beta t} E [e ^ {\ alpha Xt}] = e ^ {\ beta t} M_ {X} (\ alpha t)}$

Линейная комбинация независимых случайных величин

Если , где X _i - независимые случайные величины, а a _i - константы, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а функция, генерирующая момент для S _n, равна дано ${\ displaystyle S_ {n} = \ sum _ {i = 1} ^ {n} a_ {i} X_ {i}}$

${\ Displaystyle M_ {S_ {n}} (t) = M_ {X_ {1}} (a_ {1} t) M_ {X_ {2}} (a_ {2} t) \ cdots M_ {X_ {n} }(муравей)\,.}$

Векторнозначные случайные величины

Для векторных случайных величин с действительными компонентами порождающая функция момента задается выражением ${\ displaystyle \ mathbf {X}}$

${\ Displaystyle M_ {X} (\ mathbf {t}) = E \ left (e ^ {\ langle \ mathbf {t}, \ mathbf {X} \ rangle} \ right)}$

где - вектор, а - скалярное произведение . ${\ Displaystyle \ mathbf {т}}$${\ Displaystyle \ langle \ cdot, \ cdot \ rangle}$

Важные свойства

Производящие функции моментов положительны и лог-выпуклы , причем M (0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если и - две случайные величины и для всех значений  t , ${\ displaystyle X}$${\ displaystyle Y}$

${\ Displaystyle M_ {X} (т) = M_ {Y} (т), \,}$

потом

${\ Displaystyle F_ {X} (х) = F_ {Y} (х) \,}$

для всех значений x (или, что то же самое, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${\ displaystyle \ lim _ {n \ rightarrow \ infty} \ sum _ {i = 0} ^ {n} {\ frac {t ^ {i} m_ {i}} {i!}}}$

может не существовать. Логнормальный является примером того , когда это происходит.

Расчеты моментов

Функция момент генерирующая так называемый , потому что если он существует на открытом интервале вокруг т  = 0, то это экспоненциальная производящая функция из моментов в распределении вероятностей :

${\ Displaystyle m_ {n} = E \ left (X ^ {n} \ right) = M_ {X} ^ {(n)} (0) = \ left. {\ frac {d ^ {n} M_ {X }} {dt ^ {n}}} \ right | _ {t = 0}.}$

То есть, когда n является неотрицательным целым числом, n- й момент около 0 является n- й производной производящей функции момента, вычисляемой при t = 0.

Прочие свойства

Неравенство Дженсена дает простую нижнюю оценку функции, производящей момент:

${\ Displaystyle M_ {X} (т) \ geq e ^ {\ mu t},}$

где это среднее X . ${\ displaystyle \ mu}$

Верхний ограничивающая функцию момента генерирования может быть использованы в сочетании с неравенством Маркова к связанному верхнему хвосту реального случайной величины X . Это утверждение также называется границей Чернова . Поскольку при монотонно возрастает , имеем ${\ Displaystyle х \ mapsto e ^ {xt}}$${\ displaystyle t> 0}$

${\ Displaystyle P (Икс \ geq a) = P (e ^ {tX} \ geq e ^ {ta}) \ leq e ^ {- at} E [e ^ {tX}] = e ^ {- at} M_ {X} (t)}$

для любого и любого а , если существует. Например, когда X - стандартное нормальное распределение и , мы можем выбрать и вспомнить это . Это дает , что в пределах коэффициента 1+ точного значения. ${\ displaystyle t> 0}$${\ Displaystyle M_ {X} (т)}$${\ displaystyle a> 0}$${\ Displaystyle т = а}$${\ Displaystyle M_ {X} (т) = е ^ {т ^ {2} / 2}}$${\ Displaystyle Р (Икс \ GEQ а) \ Leq е ^ {- а ^ {2} / 2}}$

Различные леммы, такие как лемма Хёффдинга или неравенство Беннета, дают оценки функции, производящей момент, в случае ограниченной случайной величины с нулевым средним.

Когда неотрицательно, функция, производящая момент, дает простую и полезную оценку моментов: ${\ displaystyle X}$

${\ displaystyle E [X ^ {m}] \ leq \ left ({\ frac {m} {te}} \ right) ^ {m} M_ {X} (t),}$

Для любого и . ${\ displaystyle X, м \ geq 0}$${\ displaystyle t> 0}$

Это следует из простого неравенства, в которое мы можем подставить подразумеваемое вместо любого . Теперь, если и , это можно переставить на . Ожидание с обеих сторон дает предел с точки зрения . ${\ Displaystyle 1 + х \ Leq е ^ {х}}$${\ displaystyle x '= tx / m-1}$${\ displaystyle tx / m \ leq e ^ {tx / m-1}}$${\ displaystyle x, t, m \ in \ mathbb {R}}$${\ displaystyle t> 0}$${\ Displaystyle х, м \ geq 0}$${\ Displaystyle х ^ {m} \ leq (m / (te)) ^ {m} e ^ {tx}}$${\ displaystyle E [X ^ {m}]}$${\ Displaystyle E [е ^ {tX}]}$

В качестве примера рассмотрим с степенями свободы. Тогда мы знаем . Собирая и вставляя в границу, мы получаем ${\ displaystyle X \ sim {\ text {Chi-Squared}}}$${\ displaystyle k}$ ${\ Displaystyle M_ {X} (t) = (1-2t) ^ {- k / 2}}$${\ Displaystyle т = м / (2 м + к)}$

${\ displaystyle E [X ^ {m}] \ leq (1 + 2m / k) ^ {k / 2} e ^ {- m} (k + 2m) ^ {m}.}$

Мы знаем, что в этом случае правильная оценка . Чтобы сравнить оценки, мы можем рассмотреть асимптотику для больших . Здесь граница Mgf , а действительная граница . Таким образом, оценка Mgf в этом случае очень сильна. ${\ Displaystyle Е [X ^ {m}] \ Leq 2 ^ {m} \ Gamma (m + k / 2) / \ Gamma (k / 2)}$${\ displaystyle k}$${\ Displaystyle к ^ {м} (1 + м ^ {2} / к + О (1 / к ^ {2}))}$${\ displaystyle k ^ {m} (1+ (m ^ {2} -m) / k + O (1 / k ^ {2}))}$

Отношение к другим функциям

С функцией создания момента связан ряд других преобразований , которые распространены в теории вероятностей:

Характеристическая функция

Характеристическая функция связана с функцией момента генерирования через характеристическую функцию является момент , генерирующей функция Ix или функция генерации момента X оценивается на мнимой оси. Эту функцию можно также рассматривать как преобразование Фурье от функции плотности вероятности , которые , следовательно , могут быть выведены из него путем обратного преобразования Фурье.${\ Displaystyle \ varphi _ {X} (т)}$${\ displaystyle \ varphi _ {X} (t) = M_ {iX} (t) = M_ {X} (it):}$

Кумулянт-производящая функция

Функция кумулянтых генерирующая определяются как логарифм функции момента , генерирующей; некоторые вместо этого определяют функцию, генерирующую кумулянт, как логарифм характеристической функции , в то время как другие называют ее второй функцией, производящей кумулянт.

Вероятностно-производящая функция

Функция, генерирующая вероятность, определяется как Отсюда сразу следует, что${\ Displaystyle G (z) = E \ влево [z ^ {X} \ вправо]. \,}$${\ Displaystyle G (e ^ {t}) = E \ left [e ^ {tX} \ right] = M_ {X} (t). \,}$

Смотрите также

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

использованная литература

Цитаты

Источники