Теорема Берри – Эссеена - Berry–Esseen theorem

В теории вероятностей , то центральная предельная теорема утверждает , что при определенных обстоятельствах, распределение вероятности масштабированного среднее случайной выборки сходится к нормальному распределению в качестве образца с увеличением размера до бесконечности. При более сильных предположениях, в теореме Берри-Эссеено , или неравенстве Берри-Эссеено , дает более количественный результат, поскольку он также определяет скорость , с которой эта сходимость имеет место, давая оценку на ошибке максимальной из аппроксимации между нормальным распределением а истинное распределение масштабированного выборочного среднего. Аппроксимация измеряется расстоянием Колмогорова – Смирнова . В случае независимых выборок скорость сходимости равна n ^-1/2 , где n - размер выборки, а константа оценивается в терминах третьих абсолютных нормированных моментов .

Формулировка теоремы

Формулировки теоремы различаются, поскольку она была независимо открыта двумя математиками , Эндрю С. Берри (в 1941 г.) и Карлом-Густавом Эссеином (1942 г.), которые затем вместе с другими авторами неоднократно совершенствовали ее в течение последующих десятилетий.

Одинаково распределенные слагаемые

Одна из версий, несколько жертвуя общностью ради ясности, заключается в следующем:

Существует положительная константа C такая, что если X ₁ , X ₂ , ..., являются iid случайными величинами с E ( X ₁ ) = 0, E ( X ₁ ² ) = σ ² > 0 и E (| X ₁ | ³ ) = ρ <∞, и если мы определим

${\ displaystyle Y_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over n}}$

выборочное среднее , с F _н от интегральной функции распределения по

${\ displaystyle {Y_ {n} {\ sqrt {n}} \ over {\ sigma}},}$

и Φ - кумулятивная функция распределения стандартного нормального распределения , то для всех x и n ,

${\ displaystyle \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {C \ rho \ over \ sigma ^ {3} {\ sqrt {n}}}. \ \ \ \ ( 1)}$

Иллюстрация различия кумулятивных функций распределения, упомянутых в теореме.

То есть: дана последовательность независимых одинаково распределенные случайных величины , каждые из которых имеет средние нулевое и положительное отклонение , если дополнительно третий абсолютный момент , конечно, то совокупные функции распределения из стандартизирован выборочных средних и стандартного нормального распределения различаются ( по вертикали, на графике) не более чем на указанную сумму. Обратите внимание , что ошибка аппроксимации для всех п (и , следовательно , предельная скорость сходимости на неопределенный п достаточно велико) ограничена порядка из п ^-1/2 .

Расчетные значения константы C с годами заметно уменьшились: с первоначального значения 7,59 по Эссеену (1942) до 0,7882 по Ван Бику (1972) , затем 0,7655 по Шиганову (1986) , затем 0,7056 по Шевцовой (2007) , затем 0,7005 по Шевцовой (2008) , затем 0,5894 по Тюрину (2009) , затем 0,5129 по Королёву и Шевцовой (2010a) , затем 0,4785 по Тюрину (2010) . Подробный обзор можно найти в статьях Королев и Шевцова (2010a) и Королев и Шевцова (2010b) . Наилучшая оценка на 2012 г., C  <0,4748, следует из неравенства

${\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.33554 (\ rho +0.415 \ sigma ^ {3}) ) \ over \ sigma ^ {3} {\ sqrt {n}}},}$

по Шевцовой (2011) , поскольку σ ³  ≤ ρ и 0,33554 · 1,415 <0,4748. Однако если ρ ≥ 1.286σ ³ , то оценка

${\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.3328 (\ rho +0.429 \ sigma ^ {3}) ) \ over \ sigma ^ {3} {\ sqrt {n}}},}$

что также доказано в (Шевцова, 2011) , дает еще более точную оценку сверху.

Эссеен (1956) доказал, что константа также удовлетворяет оценке снизу

${\ displaystyle C \ geq {\ frac {{\ sqrt {10}} + 3} {6 {\ sqrt {2 \ pi}}}} \ приблизительно 0,40973 \ приблизительно {\ frac {1} {\ sqrt {2 \ pi}}} + 0,01079.}$

Неоднозначно распределенные слагаемые

Пусть X ₁ , X ₂ , ..., независимые случайные величины с E ( X _i ) = 0, E ( X _i ² ) = σ _i ² > 0 и E (| X _i | ³ ) = ρ _i < ∞. Кроме того, пусть

${\ displaystyle S_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over {\ sqrt {\ sigma _ {1} ^ {2} + \ sigma _ {2} ^ {2} + \ cdots + \ sigma _ {n} ^ {2}}}}}$

- нормированная n -я частичная сумма. Обозначим Р _п CDF из S _п , а Φ ВПР из стандартного нормального распределения . Для удобства обозначим

${\ displaystyle {\ vec {\ sigma}} = (\ sigma _ {1}, \ ldots, \ sigma _ {n}), \ {\ vec {\ rho}} = (\ rho _ {1}, \ ldots, \ rho _ {n}).}$

В 1941 году Эндрю С. Берри доказал, что для всех n существует абсолютная постоянная C ₁ такая, что

${\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {1} \ cdot \ psi _ {1}, \ \ \ \ (2)}$

где

${\ displaystyle \ psi _ {1} = \ psi _ {1} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho}} {\ big)} = {\ Big (} { \ textstyle \ sum \ limits _ {i = 1} ^ {n} \ sigma _ {i} ^ {2}} {\ Big)} ^ {- 1/2} \ cdot \ max _ {1 \ leq i \ leq n} {\ frac {\ rho _ {i}} {\ sigma _ {i} ^ {2}}}.}.$

Независимо, в 1942 году Карл-Густав Эссеен доказал, что для всех n существует абсолютная постоянная C ₀ такая, что

${\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {0} \ cdot \ psi _ {0}, \ \ \ \ (3)}$

где

${\ displaystyle \ psi _ {0} = \ psi _ {0} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho}} {\ big)} = {\ Big (} { \ textstyle \ sum \ limits _ {i = 1} ^ {n} \ sigma _ {i} ^ {2}} {\ Big)} ^ {- 3/2} \ cdot \ sum \ limits _ {i = 1 } ^ {n} \ rho _ {i}.}$

Легко убедиться, что ψ ₀ ≤ψ ₁ . В связи с этим неравенство (3) принято называть неравенством Берри – Эссеена, а величина ψ ₀ - дробью Ляпунова третьего порядка. Более того, в случае, когда слагаемые X ₁ , ..., X _n имеют одинаковые распределения

${\ displaystyle \ psi _ {0} = \ psi _ {1} = {\ frac {\ rho _ {1}} {\ sigma _ {1} ^ {3} {\ sqrt {n}}}},}$

Таким образом, оценки, сформулированные неравенствами (1), (2) и (3), совпадают без учета константы.

Что касается C ₀ , очевидно, что нижняя оценка, установленная Эссееном (1956), остается в силе:

${\ displaystyle C_ {0} \ geq {\ frac {{\ sqrt {10}} + 3} {6 {\ sqrt {2 \ pi}}}} = 0,4097 \ ldots.}$

Верхние границы для C ₀ были впоследствии понижены с первоначальной оценки 7,59 из-за Esseen (1942) до (учитывая только недавние результаты) 0,9051 из-за Золотарева (1967) , 0,7975 из-за ван Бека (1972) , 0,7915 из-за Шиганова (1986). ) , 0,6379 и 0,5606 по Тюрину (2009) и Тюрину (2010) . На 2011 год наилучшая оценка составляет 0,5600, полученная Шевцовой (2010) .

Многомерная версия

Как и в случае с многомерной центральной предельной теоремой , существует многомерная версия теоремы Берри – Эссина.

Пусть будут независимыми случайными векторами с нулевым средним средним значением. Пиши и считай обратимым. Пусть будет -мерный гауссовский с тем же средним и ковариационной матрицей, что и . Тогда для всех множеств выпуклых , ${\ Displaystyle X_ {1}, \ точки, X_ {n}}$${\ Displaystyle \ mathbb {R} ^ {d}}$${\ Displaystyle S = \ сумма _ {я = 1} ^ {п} X_ {я}}$${\ Displaystyle \ Sigma = \ OperatorName {Cov} [S]}$${\ Displaystyle Z \ sim \ OperatorName {N} (0, \ Sigma)}$${\ displaystyle d}$${\ displaystyle S}$${\ Displaystyle U \ substeq \ mathbb {R} ^ {d}}$

${\ displaystyle {\ big |} \ Pr [S \ in U] - \ Pr [Z \ in U] \, {\ big |} \ leq Cd ^ {1/4} \ gamma}$ ,

где - универсальная постоянная и (третья степень нормы L ² ). ${\ displaystyle C}$${\ displaystyle \ gamma = \ sum _ {i = 1} ^ {n} \ operatorname {E} {\ big [} \ | \ Sigma ^ {- 1/2} X_ {i} \ | _ {2} ^ {3} {\ big]}}$

Предполагается, что зависимость от оптимальна, но может и не быть. ${\ displaystyle d ^ {1/4}}$

Смотрите также

• Неравенство Чернова
• Серия Эджворта
• Список неравенств
• Список математических теорем
• Неравенство концентраций

Заметки

Рекомендации

Внешние ссылки

• Гут, Аллан и Холст Ларс. Карл-Густав Эссеен , получено 15 марта 2004 г.
• "Неравенство Берри – Эссеена" , Математическая энциклопедия , EMS Press , 2001 [1994]