Статистические выводы - Statistical inference

Статистический вывод - это процесс использования анализа данных для вывода свойств основного распределения вероятности . Логический статистический анализ выводит свойства совокупности , например, путем проверки гипотез и получения оценок. Предполагается, что набор наблюдаемых данных взят из более широкой совокупности.

Статистику вывода можно противопоставить описательной статистике . Описательная статистика касается исключительно свойств наблюдаемых данных и не основывается на предположении, что данные поступают от более широкой совокупности. В машинном обучении термин « вывод» иногда используется вместо того, чтобы означать «сделать прогноз путем оценки уже обученной модели»; в этом контексте вывод свойств модели называется обучением или обучением (а не выводом ), а использование модели для прогнозирования называется выводом (вместо прогнозирования ); см. также прогнозный вывод .

Вступление

Статистический вывод делает предположения о совокупности, используя данные, полученные от совокупности с некоторой формой выборки . Учитывая гипотезу о населении, для которого мы хотим сделать выводы, статистический вывод состоит из (первого) выбора в статистической модели процесса , который генерирует данные и (второй) Выведение предложения от модели.

Кониси и Китагава заявляют: «Большинство проблем статистического вывода можно рассматривать как проблемы, связанные со статистическим моделированием». В связи с этим сэр Дэвид Кокс сказал: «Как [] перевод предметной проблемы в статистическую модель часто является наиболее важной частью анализа».

Вывод статистического вывода является статистическим суждением . Вот некоторые распространенные формы статистических предложений:

Модели и предположения

Любой статистический вывод требует некоторых предположений. Статистическая модель представляет собой набор предположений о генерации наблюдаемых данных и аналогичных данных. В описаниях статистических моделей обычно подчеркивается роль представляющих интерес количеств населения, о которых мы хотим сделать вывод. Описательная статистика обычно используется в качестве предварительного шага перед тем, как делать более формальные выводы.

Степень моделей / предположений

Статистики различают три уровня допущений моделирования;

  • Полностью параметрический : предполагается, что распределения вероятностей, описывающие процесс генерации данных, полностью описываются семейством распределений вероятностей, включающим только конечное число неизвестных параметров. Например, можно предположить, что распределение значений совокупности действительно нормальное, с неизвестным средним значением и дисперсией, и что наборы данных генерируются с помощью «простой» случайной выборки . Семейство обобщенных линейных моделей - это широко используемый и гибкий класс параметрических моделей.
  • Непараметрические : предположения, сделанные в отношении процесса, генерирующего данные, намного меньше, чем в параметрической статистике, и могут быть минимальными. Например, у каждого непрерывного распределения вероятностей есть медиана, которую можно оценить с помощью медианы выборки или оценки Ходжеса – Леманна – Сена , которая имеет хорошие свойства, когда данные возникают в результате простой случайной выборки.
  • Полупараметрический : этот термин обычно подразумевает промежуточные допущения между полностью и непараметрическими подходами. Например, можно предположить, что распределение населения имеет конечное среднее значение. Более того, можно предположить, что средний уровень ответа в популяции действительно линейно зависит от некоторой ковариаты (параметрическое предположение), но не делать никаких параметрических предположений, описывающих дисперсию вокруг этого среднего значения (т.е. о наличии или возможной форме любой гетероскедастичности). ). В более общем плане полупараметрические модели часто можно разделить на «структурные» и «случайные вариации» компоненты. Один компонент обрабатывается параметрически, а другой - непараметрически. Хорошо известная модель Кокса представляет собой набор полупараметрических предположений.

Важность достоверных моделей / предположений

Какой бы уровень предположения ни был сделан, правильно откалиброванный вывод, как правило, требует, чтобы эти предположения были правильными; т.е. что механизмы генерации данных действительно указаны правильно.

Неправильные предположения о «простой» случайной выборке могут сделать статистический вывод недействительным. Более сложные полу- и полностью параметрические допущения также вызывают беспокойство. Например, неправильное предположение о модели Кокса в некоторых случаях может привести к ошибочным выводам. Неправильные предположения о нормальности в популяции также делают недействительными некоторые формы вывода на основе регрессии. Использование любой параметрической модели скептически рассматривается большинством экспертов по выборке человеческих популяций: «большинство статистиков, занимающихся выборкой, когда они вообще имеют дело с доверительными интервалами, ограничиваются утверждениями о [оценках], основанных на очень больших выборках, где центральная предельная теорема гарантирует, что эти [оценщики] будут иметь почти нормальные распределения ». В частности, нормальное распределение «было бы совершенно нереалистичным и катастрофически неразумным предположением, если бы мы имели дело с любым типом экономического населения». Здесь центральная предельная теорема утверждает, что распределение выборочного среднего «для очень больших выборок» приблизительно нормально распределено, если распределение не является «тяжелым хвостом».

Примерные распределения

Учитывая сложность определения точных распределений выборочной статистики, было разработано множество методов для их аппроксимации.

В случае конечных выборок результаты аппроксимации измеряют, насколько близко предельное распределение приближается к выборочному распределению статистики : например, с 10000 независимых выборок нормальное распределение аппроксимирует (с точностью до двух знаков) распределение выборочного среднего для многих распределений совокупности с помощью метода Берри. –Теорема Эссеена . Тем не менее, для многих практических целей нормальное приближение обеспечивает хорошее приближение к распределению выборочного среднего при наличии 10 (или более) независимых выборок, согласно исследованиям моделирования и опыту статистиков. Следуя работе Колмогорова в 1950-х годах, расширенная статистика использует теорию приближений и функциональный анализ для количественной оценки ошибки приближения. В этом подходе, метрическая геометрия из распределений вероятностей изучаются; этот подход квантифицирует ошибку аппроксимации с, например, Кульбаком-Либлер дивергенция , Брегман расходимость , а расстояние Хеллингера .

Для бесконечно больших выборок предельные результаты, такие как центральная предельная теорема, описывают предельное распределение выборочной статистики, если таковое существует. Предельные результаты не являются утверждениями о конечных выборках и действительно не имеют отношения к конечным выборкам. Однако асимптотическая теория предельных распределений часто используется для работы с конечными выборками. Например, ограничивающие результаты часто используются для обоснования обобщенного метода моментов и использования обобщенных оценочных уравнений , которые популярны в эконометрике и биостатистике . Величину разницы между предельным распределением и истинным распределением (формально «ошибка» приближения) можно оценить с помощью моделирования. Эвристическое применение ограничения результатов конечными выборками является обычной практикой во многих приложениях, особенно с низкоразмерными моделями с логарифмически вогнутыми вероятностями (например, с однопараметрическими экспоненциальными семействами ).

Модели на основе рандомизации

Для данного набора данных, созданного с помощью плана рандомизации, распределение статистики при рандомизации (при нулевой гипотезе) определяется путем оценки статистики теста для всех планов, которые могли быть сгенерированы с помощью плана рандомизации. Согласно частотному выводу, рандомизация позволяет выводам основываться на распределении рандомизации, а не на субъективной модели, и это важно, особенно при выборке обследований и планировании экспериментов. Статистический вывод из рандомизированных исследований также более прост, чем во многих других ситуациях. С точки зрения байесовского вывода , рандомизация также важна: при выборке обследования использование выборки без замены обеспечивает возможность обмена между выборкой и генеральной совокупностью; в рандомизированных экспериментах рандомизация гарантирует случайное отсутствие допущения для ковариантной информации.

Объективная рандомизация позволяет правильно проводить индукционные процедуры. Многие статистики предпочитают анализ данных на основе рандомизации, которые были получены с помощью четко определенных процедур рандомизации. (Однако верно, что в областях науки с развитыми теоретическими знаниями и экспериментальным контролем, рандомизированные эксперименты могут увеличить стоимость экспериментов без улучшения качества выводов.) Аналогичным образом, результаты рандомизированных экспериментов рекомендуются ведущими статистическими органами как позволяющие делать выводы. с большей надежностью, чем наблюдения за теми же явлениями. Однако хорошее наблюдательное исследование может быть лучше плохого рандомизированного эксперимента.

Статистический анализ рандомизированного эксперимента может быть основан на схеме рандомизации, указанной в протоколе эксперимента, и не требует субъективной модели.

Однако в любой момент некоторые гипотезы нельзя проверить с помощью объективных статистических моделей, которые точно описывают рандомизированные эксперименты или случайные выборки. В некоторых случаях такие рандомизированные исследования неэкономичны или неэтичны.

Модельный анализ рандомизированных экспериментов

При анализе данных рандомизированных экспериментов стандартной практикой является обращение к статистической модели, например линейной или логистической модели. Однако схема рандомизации определяет выбор статистической модели. Невозможно выбрать подходящую модель, не зная схемы рандомизации. Серьезно вводящие в заблуждение результаты могут быть получены при анализе данных рандомизированных экспериментов при игнорировании протокола эксперимента; Общие ошибки включают забвение блокирования, используемого в эксперименте, и путаницу повторных измерений на одной и той же экспериментальной установке с независимыми повторами обработки, применяемой к различным экспериментальным единицам.

Вывод рандомизации без модели

Безмодельные методы дополняют основанные на моделях методы, в которых используются редукционистские стратегии упрощения реальности. Первые объединяют, развивают, объединяют и обучают алгоритмы, динамически адаптируясь к контекстуальным особенностям процесса и изучая внутренние характеристики наблюдений.

Например, простая линейная регрессия без модели основана либо на

  • случайная конструкция , где пары наблюдений являются независимыми и одинаково распределенными (IID), или
  • детерминированная конструкция , где переменные являются детерминированными, но соответствующим переменным откликом является случайной и независимой с общим условным распределением, то есть , которое не зависит от индекса .

В любом случае вывод рандомизации без модели для характеристик общего условного распределения основывается на некоторых условиях регулярности, например, функциональной гладкости. Например, безмодельное умозаключение рандомизации для функции населения условного среднего , можно последовательно оценить с помощью локального усреднения или локальной полиномиальной аппроксимации, при условии , что гладкие. Кроме того , опираясь на асимптотической нормальности или передискретизации, мы можем построить доверительные интервалы для функции населения, в данном случае, в условном среднем , .

Парадигмы для вывода

Установились различные школы статистических выводов. Эти школы - или «парадигмы» - не исключают друг друга, и методы, которые хорошо работают в рамках одной парадигмы, часто имеют привлекательные интерпретации в других парадигмах.

Bandyopadhyay & Forster описывают четыре парадигмы: «(i) классическая статистика или статистика ошибок, (ii) байесовская статистика, (iii) статистика, основанная на правдоподобии, и (iv) статистика на основе информационных критериев Акаике». Классическая (или частотная ) парадигма, байесовская парадигма, парадигма правдоподобия и парадигма, основанная на AIC , кратко излагаются ниже.

Заключение частотника

Эта парадигма калибрует правдоподобие предположений, рассматривая (условно) повторяющуюся выборку распределения населения для получения наборов данных, подобных тому, который имеется в наличии. Рассматривая характеристики набора данных при повторной выборке, частотные свойства статистического предложения могут быть определены количественно, хотя на практике такая количественная оценка может быть сложной задачей.

Примеры частотного вывода

Частичный вывод, объективность и теория принятия решений

Одна из интерпретаций частотного вывода (или классического вывода) состоит в том, что он применим только с точки зрения вероятности частоты ; то есть с точки зрения повторной выборки из совокупности. Однако подход Неймана развивает эти процедуры с точки зрения предэкспериментальных вероятностей. То есть, перед проведением эксперимента, каждый выбирает правило для того, чтобы прийти к выводу, чтобы вероятность правильности контролировалась подходящим образом: такая вероятность не обязательно должна иметь частотную интерпретацию или интерпретацию повторной выборки. Напротив, байесовский вывод работает в терминах условных вероятностей (т.е. вероятностей, обусловленных наблюдаемыми данными) по сравнению с предельными (но обусловленными неизвестными параметрами) вероятностями, используемыми в частотном подходе.

Частотные процедуры проверки значимости и доверительных интервалов могут быть построены без учета функций полезности . Однако некоторые элементы частотной статистики, такие как теория статистических решений , действительно включают функции полезности . В частности, частотные разработки оптимального вывода (такие как несмещенные оценки с минимальной дисперсией или наиболее мощное тестирование ) используют функции потерь , которые играют роль (отрицательных) функций полезности. Для статистиков-теоретиков нет необходимости явно указывать функции потерь, чтобы доказать, что статистическая процедура обладает свойством оптимальности. Однако функции потерь часто полезны для определения свойств оптимальности: например, несмещенные по медианным значениям оценки оптимальны для функций потерь абсолютного значения , поскольку они минимизируют ожидаемые потери, а оценки по методу наименьших квадратов оптимальны для функций потерь квадратов ошибок, поскольку они минимизировать ожидаемые убытки.

В то время как статистики, использующие частотный вывод, должны сами выбирать интересующие параметры и используемые оценки / тестовые статистические данные , отсутствие явно явных утилит и априорных распределений помогло частотным процедурам стать широко «объективными».

Байесовский вывод

Байесовское исчисление описывает степени веры, используя «язык» вероятности; убеждения позитивны, объединяются в одно и подчиняются аксиомам вероятности. Байесовский вывод использует доступные апостериорные убеждения в качестве основы для статистических предположений. Есть несколько различных оправданий использования байесовского подхода.

Примеры байесовского вывода

Байесовский вывод, теория субъективности и принятия решений

Многие неформальные байесовские выводы основаны на «интуитивно разумных» обобщениях апостериорного анализа. Например, апостериорное среднее, медиана и мода, интервалы наивысшей апостериорной плотности и байесовские факторы могут быть мотивированы таким образом. Хотя для такого рода выводов не требуется указывать функцию полезности пользователя , все эти сводные данные зависят (в некоторой степени) от заявленных предшествующих убеждений и обычно рассматриваются как субъективные выводы. (Методы предварительного строительства, которые не требуют внешнего ввода, были предложены, но еще не полностью разработаны.)

Формально байесовский вывод калибруется со ссылкой на явно заявленную полезность или функцию потерь; «Правило Байеса» - это правило, которое максимизирует ожидаемую полезность, усредненную по апостериорной неопределенности. Таким образом, формальный байесовский вывод автоматически обеспечивает оптимальные решения в теоретическом смысле принятия решений . Учитывая предположения, данные и полезность, байесовский вывод может быть сделан практически для любой проблемы, хотя не каждый статистический вывод должен иметь байесовскую интерпретацию. Анализы, которые формально не являются байесовскими, могут быть (логически) бессвязными ; особенность байесовских процедур, которые используют правильные априорные значения (т. е. те, которые интегрируются в один), состоит в том, что они гарантированно согласованы . Некоторые сторонники байесовского вывода утверждают, что умозаключение должно происходить в рамках этой теории принятия решений и что байесовский вывод не должен заканчиваться оценкой и обобщением апостериорных убеждений.

Вывод на основе правдоподобия

Правдоподобие подходит к статистике с помощью функции правдоподобия . Некоторые правдоподобные люди отвергают умозаключения, считая статистику лишь вычислительной поддержкой свидетельств. Другие, однако, предлагают вывод, основанный на функции правдоподобия, из которых наиболее известной является оценка максимального правдоподобия .

Вывод на основе AIC

Информационный критерий Akaike (АИК) является оценкой относительного качества статистических моделей для данного набора данных. Учитывая набор моделей для данных, AIC оценивает качество каждой модели относительно каждой из других моделей. Таким образом, AIC предоставляет средства для выбора модели .

AIC основан на теории информации : он предлагает оценку относительной информации, потерянной, когда заданная модель используется для представления процесса, который генерировал данные. (При этом речь идет о компромиссе между точностью соответствия модели и простотой модели.)

Другие парадигмы вывода

Минимальная длина описания

Принцип минимальной длины описания (MDL) был разработан на основе идей теории информации и теории колмогоровской сложности . Принцип (MDL) выбирает статистические модели, которые максимально сжимают данные; вывод происходит без допущения контрфактических или нефальсифицируемых «механизмов генерации данных» или вероятностных моделей для данных, как это могло бы быть сделано в частотном или байесовском подходах.

Однако, если «механизм генерации данных» действительно существует, то в соответствии с теоремой Шеннона о кодировании источника он обеспечивает MDL-описание данных в среднем и асимптотически. При минимизации длины описания (или описательной сложности) оценка MDL аналогична оценке максимального правдоподобия и максимальной апостериорной оценке (с использованием байесовских априорных вероятностей максимальной энтропии ). Однако MDL избегает предположения, что основная вероятностная модель известна; принцип MDL также может применяться без предположений о том, что, например, данные были получены в результате независимой выборки.

Принцип MDL был применен в Связь- теории кодирования в теории информации , в линейной регрессии , и интеллектуальный анализ данных .

При оценке процедур вывода на основе MDL часто используются методы или критерии теории сложности вычислений .

Фидуциальный вывод

Фидуциарный вывод - это подход к статистическому выводу, основанный на фидуциарной вероятности , также известный как «фидуциальное распределение». В последующих работах этот подход был назван плохо определенным, крайне ограниченным в применимости и даже ошибочным. Однако этот аргумент аналогичен аргументу, который показывает, что так называемое доверительное распределение не является допустимым распределением вероятностей и, поскольку это не делает недействительным применение доверительных интервалов , оно не обязательно отменяет выводы, сделанные на основе проверочных аргументов. Была предпринята попытка переинтерпретировать раннюю работу фидуциального аргумента Фишера как частный случай теории вывода, использующей верхнюю и нижнюю вероятности .

Структурный вывод

Развивая идеи Фишера и Питмана с 1938 по 1939 год, Джордж А. Барнард разработал «структурный вывод» или «основной вывод», подход, использующий инвариантные вероятности для групповых семейств . Барнард переформулировал аргументы, лежащие в основе реперного вывода для ограниченного класса моделей, на которых «реперные» процедуры были бы хорошо определены и полезны. Дональд Фрейзер разработал общую теорию структурного вывода, основанную на теории групп, и применил ее к линейным моделям. Теория, сформулированная Фрейзером, тесно связана с теорией принятия решений и байесовской статистикой и может предоставить оптимальные частотные правила принятия решений, если они существуют.

Темы вывода

Приведенные ниже темы обычно относятся к области статистических выводов .

  1. Статистические допущения
  2. Статистическая теория принятия решений
  3. Теория оценок
  4. Статистическая проверка гипотез
  5. Пересмотр мнений в статистике
  6. Планирование экспериментов , дисперсионный анализ и регрессия
  7. Выборка опроса
  8. Обобщение статистических данных

Смотрите также

Примечания

использованная литература

Цитаты

Источники

дальнейшее чтение

внешние ссылки