Обмениваемые случайные величины - Exchangeable random variables

В статистике , заменяемый последовательность случайных величин (также иногда взаимозаменяемыми ) представляет собой последовательность Х ₁ ,  Х ₂ ,  Х ₃ , ... (которая может быть конечно или бесконечно долго) , чье совместное распределение вероятностей не меняется , когда позиции в последовательность, в которой их появляется конечное число, изменяется. Так, например, последовательности

${\ Displaystyle X_ {1}, X_ {2}, X_ {3}, X_ {4}, X_ {5}, X_ {6} \ quad {\ text {и}} \ quad X_ {3}, X_ { 6}, X_ {1}, X_ {5}, X_ {2}, X_ {4}}$

оба имеют одинаковое совместное распределение вероятностей.

Это тесно связано с использованием независимых и одинаково распределенных случайных величин в статистических моделях. Обмениваемые последовательности случайных величин возникают в случаях простой случайной выборки .

Определение

Формально заменяемая последовательность случайных величин - это конечная или бесконечная последовательность X ₁ ,  X ₂ ,  X ₃ , ... случайных величин, такая что для любой конечной перестановки σ индексов 1, 2, 3, ..., ( перестановка действует только на конечное число индексов с фиксированными остальными), совместное распределение вероятностей переставленной последовательности

${\ Displaystyle X _ {\ sigma (1)}, X _ {\ sigma (2)}, X _ {\ sigma (3)}, \ точки}$

совпадает с совместным распределением вероятностей исходной последовательности.

(Последовательность событий E ₁ , E ₂ , E ₃ , ... называется заменяемой именно в том случае, если последовательность ее индикаторных функций является заменяемой.) Функция распределения F _{X 1 , ..., X n} ( x ₁ , ..., x _n ) конечной последовательности заменяемых случайных величин симметричен по своим аргументам x ₁ , ..., x _n . Олав Калленберг дал подходящее определение возможности обмена для случайных процессов с непрерывным временем.

История

Эта концепция была представлена Уильямом Эрнестом Джонсоном в его книге 1924 года « Логика, часть III: Логические основы науки» . Возможность обмена эквивалентна концепции статистического контроля, введенной Уолтером Шухартом также в 1924 году.

Возможность обмена и статистическая модель iid

Свойство возможности обмена тесно связано с использованием независимых и одинаково распределенных (iid) случайных величин в статистических моделях. Последовательность случайных величин iid, обусловленных некоторой базовой формой распределения, является взаимозаменяемой. Это непосредственно следует из структуры совместного распределения вероятностей, генерируемого формой iid.

Смеси обмениваемых последовательностей (в частности, последовательности переменных iid) можно обменивать. Обратное может быть установлены для бесконечных последовательностей, через важную теорему о представлении по Де Финетти (позже расширенной другими вероятностных теоретиками , таких как Халмош и Savage ). Расширенные версии теоремы показывают, что в любой бесконечной последовательности заменяемых случайных величин случайные величины являются условно независимыми и одинаково распределенными , учитывая лежащую в основе форму распределения. Эта теорема кратко формулируется ниже. (Первоначальная теорема Де Финетти показала, что это верно только для случайных индикаторных переменных, но позже она была расширена, чтобы охватить все последовательности случайных величин.) Другой способ выразить это заключается в том, что теорема де Финетти характеризует заменяемые последовательности как смеси последовательностей iid - в то время как заменяемая последовательность не обязательно должна быть безусловно iid, она может быть выражена как смесь лежащих в основе последовательностей iid.

Это означает, что бесконечные последовательности заменяемых случайных величин можно рассматривать эквивалентно как последовательности условно iid случайных величин, основанных на некоторой основной форме распределения. (Обратите внимание, что эта эквивалентность не совсем верна для конечной возможности обмена. Однако для конечных векторов случайных величин существует близкое приближение к модели iid.) Бесконечная заменяемая последовательность строго стационарна, поэтому закон больших чисел в форме Применяется теорема Биркгофа – Хинчина . Это означает, что лежащему в основе распределению можно дать операциональную интерпретацию как предельное эмпирическое распределение последовательности значений. Тесная связь между заменяемыми последовательностями случайных величин и формой идентификатора идентификатора означает, что последняя может быть оправдана на основе бесконечной возможности обмена. Это понятие является центральным Бруно Финетти в развитие прогностических умозаключений и статистику Байесовской . Также можно показать, что это полезное основополагающее допущение в частотной статистике и связывает две парадигмы.

Теорема представления: это утверждение основано на изложении в O'Neill (2009) в ссылках ниже. Для бесконечной последовательности случайных величин мы определяем предельную эмпирическую функцию распределения следующим образом: ${\ Displaystyle \ mathbf {X} = (X_ {1}, X_ {2}, X_ {3}, \ ldots)}$ ${\ displaystyle F _ {\ mathbf {X}}}$

${\ displaystyle F _ {\ mathbf {X}} (x) = \ lim _ {n \ to \ infty} {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} I (X_ {i} \ leq x).}$

(Это предел Чезаро индикаторных функций. В случаях, когда предел Чезаро не существует, эту функцию можно фактически определить как предел Банаха индикаторных функций, который является расширением этого предела. Последний предел всегда существует для сумм индикаторных функций, так что эмпирическое распределение всегда четко определено.) Это означает, что для любого вектора случайных величин в последовательности у нас есть совместная функция распределения, заданная следующим образом:

${\ displaystyle \ Pr (X_ {1} \ leq x_ {1}, X_ {2} \ leq x_ {2}, \ ldots, X_ {n} \ leq x_ {n}) = \ int \ prod _ {i = 1} ^ {n} F _ {\ mathbf {X}} (x_ {i}) \, dP (F _ {\ mathbf {X}}).}$

Если функция распределения индексируется другим параметром, то (с должным образом определенной плотностью) мы имеем: ${\ displaystyle F _ {\ mathbf {X}}}$${\ displaystyle \ theta}$

${\ displaystyle p_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) = \ int \ prod _ {i = 1} ^ {n} p_ {X_ {i}} (x_ {i} \ mid \ theta) \, dP (\ theta).}$

Эти уравнения показывают совместное распределение или плотность, характеризуемую как распределение смеси на основе лежащего в основе предельного эмпирического распределения (или параметра, индексирующего это распределение).

Обратите внимание, что не все конечные заменяемые последовательности являются смесью iid. Чтобы убедиться в этом, рассмотрите возможность выборки без замены из конечного набора до тех пор, пока не останется никаких элементов. Результирующая последовательность является заменяемой, но не смесью iid. В действительности, обусловленная всеми другими элементами в последовательности, оставшийся элемент известен.

Ковариация и корреляция

Обмениваемые последовательности обладают некоторыми основными свойствами ковариации и корреляции, что означает, что они, как правило, положительно коррелированы. Для бесконечных последовательностей заменяемых случайных величин ковариация между случайными величинами равна дисперсии среднего значения базовой функции распределения. Для конечных заменяемых последовательностей ковариация также является фиксированным значением, которое не зависит от конкретных случайных величин в последовательности. Существует более слабая нижняя граница, чем для бесконечной заменяемости, и возможно существование отрицательной корреляции.

Ковариация для заменяемых последовательностей (бесконечная): Если последовательность заменяемая, то: ${\ Displaystyle X_ {1}, X_ {2}, X_ {3}, \ ldots}$

${\ displaystyle \ operatorname {cov} (X_ {i}, X_ {j}) = \ operatorname {var} (\ operatorname {E} (X_ {i} \ mid F _ {\ mathbf {X}})) = \ имя оператора {var} (\ operatorname {E} (X_ {i} \ mid \ theta)) \ geq 0 \ quad {\ text {for}} i \ neq j.}$

Ковариация для заменяемых последовательностей (конечная): Если заменяется на то: ${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$${\ displaystyle \ sigma ^ {2} = \ operatorname {var} (X_ {i})}$

${\ displaystyle \ operatorname {cov} (X_ {i}, X_ {j}) \ geq - {\ frac {\ sigma ^ {2}} {n-1}} \ quad {\ text {for}} i \ neq j.}$

Результат о конечной последовательности может быть доказан следующим образом. Используя тот факт, что ценности можно обменивать, мы имеем:

${\ displaystyle {\ begin {align} 0 & \ leq \ operatorname {var} (X_ {1} + \ cdots + X_ {n}) \\ & = \ operatorname {var} (X_ {1}) + \ cdots + \ operatorname {var} (X_ {n}) + \ underbrace {\ operatorname {cov} (X_ {1}, X_ {2}) + \ cdots \ quad {}} _ {\ text {все упорядоченные пары}} \ \ & = n \ sigma ^ {2} + n (n-1) \ operatorname {cov} (X_ {1}, X_ {2}). \ end {align}}}$

Затем мы можем решить неравенство для ковариации, дающее указанную нижнюю границу. Неотрицательность ковариации для бесконечной последовательности затем может быть получена как предельный результат из этого результата конечной последовательности.

Равенство нижней границы для конечных последовательностей достигается в простой модели урны: урна содержит 1 красный шарик и n  - 1 зеленый шарик, и они отбираются без замены, пока урна не станет пустой. Пусть X _i  = 1, если красный шарик вытаскивается в i -м испытании, и 0 в противном случае. Конечная последовательность, которая достигает нижней границы ковариации, не может быть расширена до более длинной заменяемой последовательности.

Примеры

• Любое выпуклая комбинация или распределение смеси из н.о.р. последовательностей случайных величин является сменным. Обратное предложение - это теорема де Финетти .
• Предположим, что урна содержит n красных и m синих шариков. Предположим, шарики нарисованы без замены, пока урна не опустеет. Пусть X _i будет индикаторной случайной величиной того события, что выпавший i-й шарик станет красным. Тогда { X _i } _{i = 1, ... n + m} - заменяемая последовательность. Эта последовательность не может быть расширена до какой-либо более заменяемой последовательности.
• Пусть имеют двумерное нормальное распределение с параметрами , и произвольный коэффициент корреляции . Тогда случайные величины и можно обменивать, но они независимы только в том случае, если . Функция плотности является${\ displaystyle (X, Y)}$${\ displaystyle \ mu = 0}$${\ Displaystyle \ sigma _ {x} = \ sigma _ {y} = 1}$ ${\ displaystyle \ rho \ in (-1,1)}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ rho = 0}$${\ displaystyle p (x, y) = p (y, x) \ propto \ exp \ left [- {\ frac {1} {2 (1- \ rho ^ {2})}} (x ^ {2} + y ^ {2} -2 \ rho xy) \ right].}$

Приложения

Экстрактора фон Неймана является хаотичностью экстрактором , который зависит от взаимозаменяемости: это дает метод , чтобы принять сменную последовательность 0 и 1 ( Бернулли ), с некоторой вероятностью р от 0 и 1, и производит (короче) сменную последовательность 0 и 1 с вероятностью 1/2. ${\ Displaystyle д = 1-р}$

Разделите последовательность на неперекрывающиеся пары: если два элемента пары равны (00 или 11), отбросьте ее; если два элемента пары не равны (01 или 10), оставьте первый. Это дает последовательность попыток Бернулли, где , в силу возможности обмена, шансы данной пары равны 01 или 10, равны. ${\ displaystyle p = 1/2,}$

Обмениваемые случайные величины возникают при изучении U-статистики , особенно в разложении Хёффдинга.

Смотрите также

• Повторная выборка
• Передискретизация (статистика) § Тесты перестановки , статистические тесты, основанные на обмене между группами
• U-статистика

Примечания

Библиография

• Олдос, Дэвид Дж. Обменяемость и связанные темы , в: École d'Été de Probabilités de Saint-Flour XIII - 1983, Конспекты лекций по математике. 1117, стр. 1–198, Springer, Berlin, 1985. ISBN  978-3-540-15203-3 doi : 10.1007 / BFb0099421
• Барлоу Р.Э. и Ирони Т.З. (1992) «Основы статистического контроля качества» в Гош, М. и Патак, П.К. (ред.). Текущие проблемы статистического вывода: Очерки в честь Д. Басу , Хейворд, Калифорния: Институт Математическая статистика, 99-112.
• Бергман, Б. (2009) «Концептуалистический прагматизм: основа для байесовского анализа?», IIE Transactions , 41 , 86–93
• Боровских, Ю. В. (1996).U -статистика в банаховых пространствах . Утрехт: ВСП. С. xii + 420. ISBN 90-6764-200-2. Руководство по ремонту  1419498 .
• Чоу, Юань Ши и Тейчер, Генри, Теория вероятностей. Независимость, взаимозаменяемость, мартингалы, Springer Texts in Statistics, 3-е изд., Springer, New York, 1997. xxii + 488 pp.  ISBN  0-387-98228-0
• Диаконис, Перси (2009). «Рецензия на книгу: вероятностные симметрии и принципы инвариантности (Олав Калленберг, Springer, Нью-Йорк, 2005)» . Бюллетень Американского математического общества . Новая серия. 46 (4): 691–696. DOI : 10.1090 / S0273-0979-09-01262-2 . Руководство по ремонту  2525743 .
• Kallenberg, О. , вероятностные симметрии и принципы инвариантности . Спрингер-Верлаг, Нью-Йорк (2005). 510 с.  ISBN  0-387-25115-4 .
• Кингман, JFC, Использование возможности обмена , Ann. Вероятность 6 (1978) 83–197 MR 494344 JSTOR  2243211
• О'Нил Б. (2009) Обменяемость, корреляция и эффект Байеса. Международный статистический обзор 77 (2) , стр. 241–250. ISBN  978-3-540-15203-3 дои : 10.1111 / j.1751-5823.2008.00059.x
• Тейлор, Роберт Ли; Даффер, Питер З .; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм заменяемых случайных величин . Роуман и Алланхельд. С. 1–152. ISBN 9780847674350.
• Забелл, С.Л. (1988) «Симметрия и ее недовольство», в: Скирмс, Б. и Харпер, В.Л. Причинность, шанс и доверие, стр. 155-190, Kluwer.
• «Предсказание непредсказуемого». Synthese . 90 (2): 205. 1992. DOI : 10.1007 / bf00485351 .