Эмпирическая мера - Empirical measure

В теории вероятностей , эмпирическая мера является случайной мерой , вытекающей из конкретной реализации (обычно конечной) последовательности случайных величин . Точное определение приведено ниже. Эмпирические меры имеют отношение к математической статистике .

Мотивация для изучения эмпирических показателей заключается в том, что часто невозможно узнать истинную основную меру вероятности . Мы собираем наблюдения и вычисляем относительные частоты . Мы можем оценить или связанную функцию распределения с помощью эмпирической меры или эмпирической функции распределения соответственно. Это всегда хорошие оценки при определенных условиях. Теоремы в области эмпирических процессов обеспечивают скорость такой сходимости. ${\ displaystyle P}$${\ displaystyle X_ {1}, X_ {2}, \ dots, X_ {n}}$${\ displaystyle P}$${\ displaystyle F}$

Определение

Пусть последовательность независимых одинаково распределенных случайных величин со значениями в пространстве состояний S с распределением вероятностей P . ${\ Displaystyle X_ {1}, X_ {2}, \ точки}$

Определение

Эмпирическая мера Р _п определяется для измеримых подмножеств S и задается

${\ displaystyle P_ {n} (A) = {1 \ over n} \ sum _ {i = 1} ^ {n} I_ {A} (X_ {i}) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} \ delta _ {X_ {i}} (A)}$

где есть индикаторная функция и является мерой Дирака .${\ displaystyle I_ {A}}$${\ displaystyle \ delta _ {X}}$

Свойства

• Для фиксированного измеримого множества A , nP _n ( A ) является биномиальной случайной величиной со средним значением nP ( A ) и дисперсией nP ( A ) (1 -  P ( A )).
  • В частности, Р _п ( ) является несмещенной оценкой из P ( A ).
• При фиксированной перегородке из S , случайные величины образуют полиномиальное распределение с вероятностями событий${\ displaystyle A_ {i}}$${\ displaystyle X_ {i} = nP_ {n} (A_ {i})}$ ${\ displaystyle P (A_ {i})}$
  • Ковариационная матрица этого полиномиального распределения .${\ Displaystyle Cov (X_ {i}, X_ {j}) = nP (A_ {i}) (\ delta _ {ij} -P (A_ {j}))}$

Определение

${\ displaystyle {\ bigl (} P_ {n} (c) {\ bigr)} _ {c \ in {\ mathcal {C}}}}$это эмпирическая мера проиндексированы , совокупность измеримых подмножеств S .${\ displaystyle {\ mathcal {C}}}$

Чтобы еще больше обобщить это понятие, заметим, что эмпирическая мера отображает измеримые функции в их эмпирическое среднее , ${\ displaystyle P_ {n}}$ ${\ displaystyle f: S \ to \ mathbb {R}}$

${\ displaystyle f \ mapsto P_ {n} f = \ int _ {S} f \, dP_ {n} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} f ( X_ {i})}$

В частности, эмпирическая мера A является просто эмпирическое среднее индикаторной функции, Р _п ( ) = Р _п I _A .

При фиксированной измеримой функции , является случайной величиной со средним значением и дисперсией . ${\ displaystyle f}$${\ displaystyle P_ {n} f}$${\ displaystyle \ mathbb {E} f}$${\ displaystyle {\ frac {1} {n}} \ mathbb {E} (f- \ mathbb {E} f) ^ {2}}$

К сильному закону больших чисел , Р _п ( сходится) к Р ( А ) почти наверное при фиксированных А . Аналогично сходится к почти наверное для фиксированной измеримой функции . Проблема равномерной сходимости P _n к P оставалась открытой до тех пор, пока Вапник и Червоненкис не решили ее в 1968 году. ${\ displaystyle P_ {n} f}$${\ displaystyle \ mathbb {E} f}$${\ displaystyle f}$

Если класс (или ) является классом Гливенко – Кантелли относительно P, то P _n сходится к P равномерно над (или ). Другими словами, с вероятностью 1 имеем ${\ displaystyle {\ mathcal {C}}}$${\ Displaystyle {\ mathcal {F}}}$${\ displaystyle c \ in {\ mathcal {C}}}$${\ displaystyle f \ in {\ mathcal {F}}}$

${\ displaystyle \ | P_ {n} -P \ | _ {\ mathcal {C}} = \ sup _ {c \ in {\ mathcal {C}}} | P_ {n} (c) -P (c) | \ до 0,}$

${\ displaystyle \ | P_ {n} -P \ | _ {\ mathcal {F}} = \ sup _ {f \ in {\ mathcal {F}}} | P_ {n} f- \ mathbb {E} f | \ до 0.}$

Эмпирическая функция распределения

Эмпирическая функция распределения представляет собой пример эмпирических мер. Для вещественных iid случайных величин это определяется как ${\ Displaystyle X_ {1}, \ точки, X_ {n}}$

${\ displaystyle F_ {n} (x) = P_ {n} ((- \ infty, x]) = P_ {n} I _ {(- \ infty, x]}.}$

В этом случае эмпирические меры индексируются классом. Было показано, что это однородный класс Гливенко – Кантелли , в частности, ${\ displaystyle {\ mathcal {C}} = \ {(- \ infty, x]: x \ in \ mathbb {R} \}.}$${\ displaystyle {\ mathcal {C}}}$

${\ Displaystyle \ sup _ {F} \ | F_ {n} (x) -F (x) \ | _ {\ infty} \ to 0}$

с вероятностью 1.

Смотрите также

• Случайная мера Пуассона

Ссылки

дальнейшее чтение

• Биллингсли, П. (1995). Вероятность и мера (Третье изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN 0-471-80478-9.
• Донскер, доктор медицины (1952). «Обоснование и расширение эвристического подхода Дуба к теоремам Колмогорова – Смирнова» . Анналы математической статистики . 23 (2): 277–281. DOI : 10.1214 / АОМ / 1177729445 .
• Дадли, Р.М. (1978). «Центральные предельные теоремы для эмпирических мер» . Анналы вероятности . 6 (6): 899–929. DOI : 10.1214 / AOP / 1176995384 . JSTOR  2243028 .
• Дадли, Р.М. (1999). Равномерные центральные предельные теоремы . Кембриджские исследования в области высшей математики. 63 . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-46102-2.
• Вулфовиц, Дж. (1954). «Обобщение теоремы Гливенко – Кантелли» . Анналы математической статистики . 25 (1): 131–138. DOI : 10.1214 / АОМ / 1177728852 . JSTOR  2236518 .