Статистика - Statistics

Статистика
Контур Статистиков Глоссарий Обозначение Журналы Списки тем Статьи Категория  Математический портал
v т е

Нормальное распределение , очень распространенная плотность вероятности , полезно из-за центральной предельной теоремы .

Точечные диаграммы используются в описательной статистике, чтобы показать наблюдаемые взаимосвязи между различными переменными, здесь используется набор данных о цветках ириса .

Статистика - это дисциплина, которая касается сбора, организации, анализа, интерпретации и представления данных . При применении статистики к научной, промышленной или социальной проблеме принято начинать со статистической совокупности или статистической модели, которую необходимо изучить. Популяции могут быть разными группами людей или объектов, такими как «все люди, живущие в стране» или «каждый атом, составляющий кристалл». Статистика имеет дело с каждым аспектом данных, включая планирование сбора данных с точки зрения дизайна опросов и экспериментов . См. Глоссарий вероятностей и статистики .

Когда данные переписи собрать невозможно, статистики собирают данные, разрабатывая конкретные планы экспериментов и выборки обследований . Репрезентативная выборка гарантирует, что выводы и заключения могут разумно распространяться от выборки на совокупность в целом. Экспериментальное исследование включает в себя прием измерения исследуемой системы, манипулируя систему, а затем принимать дополнительные измерения , используя ту же самую процедуру , чтобы определить , является ли манипуляция модифицировала значение измерений. Напротив, обсервационное исследование не предполагает экспериментальных манипуляций.

При анализе данных используются два основных статистических метода : описательная статистика , которая суммирует данные из выборки с использованием таких индексов , как среднее или стандартное отклонение , и логическая статистика , которая делает выводы из данных, подверженных случайным изменениям (например, ошибки наблюдений, вариация выборки). Описательная статистика чаще всего связана с двумя наборами свойств распределения (выборка или совокупность): центральная тенденция (или местоположение ) стремится охарактеризовать центральное или типичное значение распределения, в то время как дисперсия (или изменчивость ) характеризует степень, в которой члены распределения отходят от своего центра и друг от друга. Выводы по математической статистике делаются в рамках теории вероятностей , которая занимается анализом случайных явлений.

Стандартная статистическая процедура включает в себя сбор данных, ведущих к проверке взаимосвязи между двумя наборами статистических данных или набором данных и синтетическими данными, взятыми из идеализированной модели. Предлагается гипотеза о статистической взаимосвязи между двумя наборами данных, и она сравнивается в качестве альтернативы идеализированной нулевой гипотезе об отсутствии взаимосвязи между двумя наборами данных. Отклонение или опровержение нулевой гипотезы осуществляется с помощью статистических тестов, которые количественно определяют, в каком смысле нулевое значение может быть доказано как ложное, учитывая данные, которые используются в тесте. При работе с нулевой гипотезой распознаются две основные формы ошибок: ошибки типа I (нулевая гипотеза ошибочно отклоняется, давая «ложноположительный результат») и ошибки типа II (нулевая гипотеза не может быть отклонена, а фактическая взаимосвязь между популяциями отсутствует, что дает «ложноотрицательный»). С этой структурой связано множество проблем: от получения достаточного размера выборки до определения адекватной нулевой гипотезы.

Процессы измерения, которые генерируют статистические данные, также подвержены ошибкам. Многие из этих ошибок классифицируются как случайные (шум) или систематические (систематическая ошибка ), но могут возникать и другие типы ошибок (например, грубая ошибка, например, когда аналитик сообщает неверные единицы измерения). Наличие недостающих данных или цензурирования может привести к предвзятой оценки и конкретные методы были разработаны для решения этих проблем.

Самые ранние работы по вероятности и статистике, статистическим методам, основанным на теории вероятностей , относятся к арабским математикам и криптографам , особенно Аль-Халилю (717–786) и Аль-Кинди (801–873). В 18 веке статистика также начала активно опираться на математические вычисления . В последние годы статистика больше полагалась на статистическое программное обеспечение для проведения таких тестов, например, описательного анализа.

Введение

Статистика - это математическая наука, которая относится к сбору, анализу, интерпретации или объяснению и представлению данных , или как раздел математики . Некоторые считают статистику отдельной математической наукой, а не разделом математики. Хотя во многих научных исследованиях используются данные, статистика касается использования данных в контексте неопределенности и принятия решений в условиях неопределенности.

При применении статистики к проблеме обычно начинают с совокупности или процесса, который необходимо изучить. Популяции могут быть разными, например, «все люди, живущие в стране» или «каждый атом, составляющий кристалл». В идеале статистики собирают данные обо всем населении (операция, называемая переписью ). Это может быть организовано государственными статистическими институтами. Описательная статистика может использоваться для обобщения данных о населении. Числовые дескрипторы включают среднее значение и стандартное отклонение для непрерывных типов данных (таких как доход), тогда как частота и процент более полезны с точки зрения описания категориальных данных (например, образование).

Когда перепись невозможна, изучается выбранная подгруппа населения, называемая выборкой . После определения выборки, которая является репрезентативной для населения, собираются данные для членов выборки в условиях наблюдения или экспериментов . Опять же, описательная статистика может использоваться для обобщения выборочных данных. Однако отрисовка выборки была подвержена элементу случайности, следовательно, установленные числовые дескрипторы выборки также являются следствием неопределенности. Чтобы по-прежнему делать значимые выводы обо всем населении, необходима логическая статистика . Он использует шаблоны в выборке данных, чтобы делать выводы о представленной совокупности с учетом случайности. Эти выводы могут принимать форму: ответов на вопросы да / нет о данных ( проверка гипотез ), оценки числовых характеристик данных ( оценка ), описания ассоциаций в данных ( корреляция ) и моделирования взаимосвязей в данных (например, с использованием регрессионный анализ ). Вывод может распространяться на прогнозирование , предсказание и оценку ненаблюдаемых значений в исследуемой популяции или связанных с ней; он может включать в себя экстраполяцию и интерполяцию из временных рядов или пространственных данных , а также может включать в себя анализ данных .

Математическая статистика

Математическая статистика - это приложение математики к статистике. Математические методы, используемые для этого, включают математический анализ , линейную алгебру , стохастический анализ , дифференциальные уравнения и теоретико-мерную теорию вероятностей .

История

Джероламо Кардано , пионер математики вероятностей.

Самые ранние работы по вероятности и статистике относятся к арабским математикам и криптографам , во время Золотого века ислама между 8 и 13 веками. Аль-Халил (717–786) написал Книгу криптографических сообщений , в которой впервые используются перестановки и комбинации , чтобы перечислить все возможные арабские слова с гласными и без них. Самая ранняя книга по статистике - это трактат « Рукопись о расшифровке криптографических сообщений» IX века , написанный арабским ученым Аль-Кинди (801–873). В своей книге Аль-Кинди дал подробное описание того, как использовать статистику и частотный анализ для расшифровки зашифрованных сообщений. Этот текст заложил основы статистики и криптоанализа . Аль-Кинди также первым из известных применял статистический вывод , в то время как он и более поздние арабские криптографы разработали ранние статистические методы для декодирования зашифрованных сообщений. Ибн Адлан (1187–1268) позже внес важный вклад в использование размера выборки в частотном анализе.

Самые ранние европейские труды по статистике датируются 1663 годом, когда были опубликованы « Естественные и политические наблюдения за законами о смертности » Джона Граунта . Ранние применения статистического мышления вращались вокруг потребностей государств базовой политики в области экономических и демографических данных, следовательно , его указание того этимологии . В начале 19 века объем статистической дисциплины расширился и теперь включает сбор и анализ данных в целом. Сегодня статистика широко используется в правительстве, бизнесе, естественных и социальных науках.

Математические основы современной статистики были заложены в 17 - м веке , с развитием теории вероятностей по Кардано , Блез Паскаль и Пьер де Ферма . Математическая теория вероятностей возникла из изучения азартных игр , хотя концепция вероятности уже была исследована в средневековом праве и такими философами, как Хуан Карамуэль . Метод наименьших квадратов была впервые описана Лежандр в 1805 году.

Карл Пирсон , основоположник математической статистики.

Современная статистика возникла в конце 19 - начале 20 века в три этапа. Первую волну на рубеже веков возглавляли работы Фрэнсиса Гальтона и Карла Пирсона , которые превратили статистику в строгую математическую дисциплину, используемую для анализа не только в науке, но также в промышленности и политике. Вклад Гальтона включал введение концепций стандартного отклонения , корреляции , регрессионного анализа и применение этих методов к изучению множества человеческих характеристик, включая рост, вес, длину ресниц. Пирсон разработал коэффициент корреляции продукта-момента Пирсона , определяемый как продукт-момент, метод моментов для подгонки распределений к выборкам и распределение Пирсона , среди прочего. Гальтон и Пирсон основали Biometrika как первый журнал математической статистики и биостатистики (тогда называемый биометрией), а последний основал первый в мире университетский статистический факультет в Университетском колледже Лондона .

Рональд Фишер ввел термин нулевая гипотеза во время эксперимента « Леди дегустация чая» , который «никогда не доказывается и не устанавливается, но, возможно, опровергается в ходе экспериментов».

Вторая волна 1910-х и 20-х годов была инициирована Уильямом Сили Госсетом и достигла своей кульминации в открытиях Рональда Фишера , написавшего учебники, которые должны были определять академические дисциплины в университетах по всему миру. Наиболее важными публикациями Фишера были его основополагающая статья 1918 года «Корреляция между родственниками на основе предположения о менделевском наследовании» (в которой впервые использовался статистический термин « дисперсия» ), его классическая работа 1925 года « Статистические методы для научных работников» и его план экспериментов 1935 года. где он разработал строгий дизайн экспериментальных моделей. Он возник концепцию достаточности , вспомогательной статистика , линейного дискриминатор Фишера и информация Фишера . В своей книге 1930 года «Генетическая теория естественного отбора» он применил статистику к различным биологическим концепциям, таким как принцип Фишера (который AWF Эдвардс назвал «вероятно, самым известным аргументом в эволюционной биологии ») и бегство Фишера , концепция полового отбора о положительном обратная связь убегающий аффект, обнаруженный в процессе эволюции .

Последняя волна, которая в основном представляла собой усовершенствование и расширение более ранних разработок, возникла в результате совместной работы Эгона Пирсона и Ежи Неймана в 1930-х годах. Они ввели понятия ошибки « типа II », мощности теста и доверительных интервалов . Ежи Нейман в 1934 году показал, что стратифицированная случайная выборка в целом является лучшим методом оценки, чем целенаправленная (квотная) выборка.

Сегодня статистические методы применяются во всех областях, связанных с принятием решений, для точных выводов на основе сопоставленного массива данных и для принятия решений в условиях неопределенности на основе статистической методологии. Использование современных компьютеров ускорило крупномасштабные статистические вычисления, а также сделало возможными новые методы, которые нецелесообразно выполнять вручную. Статистика продолжает оставаться областью активных исследований, например, по проблеме анализа больших данных .

Статистические данные

Сбор информации

Отбор проб

Когда невозможно собрать полные данные переписи, статистики собирают выборочные данные, разрабатывая конкретные планы экспериментов и выборки обследований . Сама статистика также предоставляет инструменты для прогнозирования и прогнозирования с помощью статистических моделей . Идея делать выводы на основе выборочных данных возникла примерно в середине 1600-х годов в связи с оценкой населения и разработкой предшественников страхования жизни.

Чтобы использовать выборку в качестве ориентира для всего населения, важно, чтобы он действительно отражал все население. Репрезентативная выборка гарантирует, что умозаключения и заключения могут безопасно распространяться от выборки на генеральную совокупность. Основная проблема заключается в том, чтобы определить, насколько действительно репрезентативна выбранная выборка. Статистика предлагает методы для оценки и исправления любых систематических ошибок в процедурах выборки и сбора данных. Существуют также методы экспериментального планирования экспериментов, которые могут уменьшить эти проблемы в начале исследования, усиливая его способность распознавать истину о популяции.

Отбор пробы теории является частью математической дисциплины по теории вероятностей . Вероятность используется в математической статистике для изучения отбора проб распределения по выборочным статистическим данным и, в более общем случае , свойстве статистических процедур . Использование любого статистического метода допустимо, если рассматриваемая система или совокупность удовлетворяет допущениям метода. Разница во взглядах между классической теорией вероятности и теорией выборки состоит, грубо говоря, в том, что теория вероятностей начинает с заданных параметров общей совокупности, чтобы вывести вероятности, относящиеся к выборкам. Статистический вывод, однако, движется в противоположном направлении - индуктивно выводит из выборок параметры большей или общей совокупности.

Экспериментальные и наблюдательные исследования

Общая цель проекта статистических исследований - изучить причинно-следственную связь и, в частности, сделать вывод о влиянии изменений значений предикторов или независимых переменных на зависимые переменные . Существует два основных типа причинно-следственных статистических исследований: экспериментальные исследования и наблюдения . В обоих типах исследований наблюдается влияние различий независимой переменной (или переменных) на поведение зависимой переменной. Разница между этими двумя типами заключается в том, как фактически проводится исследование. Каждый может быть очень эффективным. Экспериментальное исследование включает в себя выполнение измерений исследуемой системы, манипулирование системой, а затем выполнение дополнительных измерений с использованием той же процедуры, чтобы определить, изменило ли манипуляция значения измерений. Напротив, обсервационное исследование не предполагает экспериментальных манипуляций . Вместо этого собираются данные и исследуются корреляции между предикторами и ответом. Хотя инструменты анализа данных лучше всего работают с данными рандомизированных исследований , они также применяются к другим видам данных - например, к естественным экспериментам и наблюдениям, - для которых статистик может использовать модифицированный, более структурированный метод оценки (например, Разница в различиях оценочные и инструментальные переменные , среди многих других), которые производят согласованные оценки .

Эксперименты

Основные этапы статистического эксперимента:

1. Планирование исследования, в том числе определение количества повторений исследования, с использованием следующей информации: предварительные оценки величины эффектов лечения , альтернативные гипотезы и расчетная экспериментальная изменчивость . Необходимо учитывать выбор субъектов эксперимента и этику исследования. Статистики рекомендуют в экспериментах сравнить (по крайней мере) одно новое лечение со стандартным лечением или контролем, чтобы можно было объективно оценить разницу в эффектах лечения.
2. Планирование экспериментов с использованием блокировки для уменьшения влияния мешающих переменных и рандомизированного назначения лечения субъектам, чтобы обеспечить беспристрастную оценку эффектов лечения и экспериментальных ошибок. На этом этапе экспериментаторы и статистики пишут протокол эксперимента, который будет определять выполнение эксперимента и в котором указывается первичный анализ экспериментальных данных.
3. Выполнение эксперимента в соответствии с экспериментальным протоколом и анализ данных в соответствии с экспериментальным протоколом.
4. Дальнейшее изучение набора данных во вторичном анализе, чтобы предложить новые гипотезы для будущего исследования.
5. Документирование и представление результатов исследования.

Особые опасения вызывают эксперименты с человеческим поведением. В знаменитом исследовании Хоторна изучались изменения в рабочей среде на заводе Хоторн Western Electric Company . Исследователи были заинтересованы в том, чтобы определить, повысит ли повышенное освещение производительность рабочих сборочной линии . Сначала исследователи измерили продуктивность растения, затем изменили освещение участка растения и проверили, влияют ли изменения освещения на продуктивность. Оказалось, что производительность действительно улучшилась (в условиях эксперимента). Однако сегодня это исследование подвергается резкой критике за ошибки в экспериментальных процедурах, особенно за отсутствие контрольной группы и слепоту . Эффект Хоторна относится к обнаружению того, что результат (в данном случае производительность труда) изменился из-за самого наблюдения. Те, кто участвовал в исследовании Хоторна, стали более продуктивными не потому, что изменилось освещение, а потому, что за ними наблюдали.

Наблюдательное исследование

Примером обсервационного исследования является исследование связи между курением и раком легких. Этот тип исследования обычно использует опрос для сбора наблюдений за интересующей областью, а затем выполняет статистический анализ. В этом случае исследователи будут собирать наблюдения как за курильщиками, так и за некурящими, возможно, в рамках когортного исследования , а затем искать количество случаев рака легких в каждой группе. Исследование случай-контроль - это еще один тип наблюдательного исследования, в котором приглашаются к участию люди с интересующим результатом (например, рак легких) и без него, и собираются их истории воздействия.

Типы данных

Были предприняты различные попытки составить таксономию уровней измерения . Психофизик Стэнли Смит Стивенс определил номинальную, порядковую, интервальную и пропорциональную шкалы. Номинальные измерения не имеют значимого ранжирования среди значений и допускают любое однозначное (инъективное) преобразование. Порядковые измерения имеют неточные различия между последовательными значениями, но имеют значимый порядок этих значений и допускают любые преобразования с сохранением порядка. Для интервальных измерений определены значимые расстояния между измерениями, но нулевое значение является произвольным (как в случае с измерениями долготы и температуры в градусах Цельсия или Фаренгейта ) и допускает любое линейное преобразование. Измерения отношения имеют как значимое нулевое значение, так и определенные расстояния между различными измерениями, а также допускают любое преобразование масштабирования.

Поскольку переменные, соответствующие только номинальным или порядковым измерениям, не могут быть разумно измерены численно, иногда они группируются вместе как категориальные переменные , тогда как измерения отношения и интервалы группируются вместе как количественные переменные , которые могут быть дискретными или непрерывными из-за своей числовой природы. Такие различия часто могут быть слабо коррелированы с типом данных в информатике, поскольку дихотомические категориальные переменные могут быть представлены с помощью логического типа данных , политомические категориальные переменные с произвольно присвоенными целыми числами в интегральном типе данных и непрерывные переменные с реальным типом данных, включающим вычисление с плавающей запятой . Но сопоставление типов данных информатики с типами статистических данных зависит от того, какая категоризация последних реализуется.

Были предложены и другие категории. Например, Мостеллер и Тьюки (1977) различали оценки, ранги, подсчитанные дроби, количества, суммы и остатки. Нелдер (1990) описал непрерывный подсчет, непрерывные отношения, отношения подсчета и категориальные режимы данных. См. Также Chrisman (1998), van den Berg (1991).

Вопрос о том, уместно ли применять разные виды статистических методов к данным, полученным с помощью различных процедур измерения, осложняется проблемами, связанными с преобразованием переменных и точной интерпретацией вопросов исследования. "Связь между данными и тем, что они описывают, просто отражает тот факт, что определенные виды статистических утверждений могут иметь значения истинности, которые не являются инвариантными при некоторых преобразованиях. Разумно ли рассматривать преобразование, зависит от вопроса, на который человек пытается ответить. . "

Статистические методы

Описательная статистика

Описательная статистика (в графе существительного смысла) представляет собой краткое изложение статистики , которая количественно описывает или суммирует особенность сбора информации , в то время как описательная статистика в массах существительного смысла является процессом использования и анализа этих статистических данных. Описательная статистика отличается от логической статистики (или индуктивной статистики) в том смысле, что описательная статистика направлена ​​на обобщение выборки , а не на использование данных для изучения совокупности, которую, как предполагается, представляет выборка данных.

Выведенный статистика

Статистический вывод - это процесс использования анализа данных для вывода свойств основного распределения вероятностей . Логический статистический анализ выводит свойства совокупности , например, путем проверки гипотез и получения оценок. Предполагается, что набор наблюдаемых данных взят из более широкой совокупности. Статистические данные можно противопоставить описательной статистике . Описательная статистика касается исключительно свойств наблюдаемых данных и не основывается на предположении, что данные поступают от большей совокупности.

Терминология и теория выводной статистики

Статистика, оценки и основные количества

Рассмотрим независимые одинаково распределенные (IID) случайные величины с заданным распределением вероятностей : стандартный статистический вывод и теория оценки определяет случайную выборку как случайный вектор, заданный вектором - столбцом этих переменных IID. Исследуемая популяция описывается распределением вероятностей, параметры которого могут быть неизвестны.

Статистика является случайной величиной , которая является функцией случайной выборки, но не зависит от неизвестных параметров . Однако вероятностное распределение статистики может иметь неизвестные параметры.

Теперь рассмотрим функцию неизвестного параметра: оценка - это статистика, используемая для оценки такой функции. Обычно используемые оценщики включают выборочное среднее , несмещенную выборочную дисперсию и выборочную ковариацию .

Случайная величина, которая является функцией случайной выборки и неизвестного параметра, но чье распределение вероятностей не зависит от неизвестного параметра , называется ключевой величиной или стержнем. Широко используемые опорные точки включают z-оценку , статистику хи-квадрат и t-значение Стьюдента .

Между двумя оценщиками данного параметра считается, что более эффективна оценка с меньшей среднеквадратичной ошибкой . Кроме того, оценщик называется несмещенным, если его ожидаемое значение равно истинному значению неизвестного оцениваемого параметра, и асимптотически несмещенным, если его ожидаемое значение сходится на пределе к истинному значению такого параметра.

Другие желательные свойства для оценщиков включают: оценщики UMVUE, которые имеют наименьшую дисперсию для всех возможных значений параметра, который необходимо оценить (обычно это свойство легче проверить, чем эффективность) и согласованные оценщики, которые сходятся по вероятности к истинному значению такого параметра. .

Это по-прежнему оставляет вопрос о том, как получить оценки в данной ситуации и провести вычисления, было предложено несколько методов: метод моментов , метод максимального правдоподобия, метод наименьших квадратов и более современный метод оценки уравнений .

Нулевая гипотеза и альтернативная гипотеза

Интерпретация статистической информации часто может включать в себя разработку нулевой гипотезы, которая обычно (но не обязательно) заключается в том, что между переменными не существует взаимосвязи или что никаких изменений не произошло с течением времени.

Лучшая иллюстрация для новичка - затруднительное положение, с которым сталкивается уголовный процесс. Нулевая гипотеза H ₀ утверждает, что подсудимый невиновен, тогда как альтернативная гипотеза H ₁ утверждает, что подсудимый виновен. Обвинение вынесено на основании подозрения в виновности. H ₀ (статус-кво) противостоит H ₁ и сохраняется, если H ₁ не подтверждается доказательствами «вне разумного сомнения». Однако «отказ отклонить H ₀ » в данном случае не означает невиновности, а просто того, что доказательств было недостаточно для осуждения. Таким образом, жюри не обязательно принимает H _0, но не может отклонить H ₀ . Хотя невозможно «доказать» нулевую гипотезу, можно проверить, насколько она близка к истинности, с помощью теста мощности , который проверяет ошибки типа II .

То, что статистики называют альтернативной гипотезой, - это просто гипотеза, противоречащая нулевой гипотезе .

ошибка

Исходя из нулевой гипотезы , различают две основные формы ошибки:

• Ошибки типа I, при которых нулевая гипотеза ошибочно отвергается, давая «ложноположительный результат».
• Ошибки типа II, когда нулевая гипотеза не может быть отклонена, а фактическая разница между популяциями отсутствует, что дает «ложноотрицательный результат».

Стандартное отклонение относится к степени, в которой отдельные наблюдения в выборке отличаются от центрального значения, такого как выборка или среднее значение генеральной совокупности, тогда как стандартная ошибка относится к оценке разницы между средним значением выборки и средним значением генеральной совокупности.

Статистическая погрешность есть величина , на которую наблюдение отличается от своего ожидаемого значения , A остаточное это сумма, отличается от наблюдения стоимости оценщика ожидаемого значения принимает на данный образец (также называемое предсказание).

Среднеквадратичная ошибка используется для получения эффективных оценок , широко используемого класса оценок. Среднеквадратичная ошибка - это просто квадратный корень из среднеквадратичной ошибки.

Метод наименьших квадратов: красным - точки, которые нужно подогнать, синим - линия.

Многие статистические методы стремятся минимизировать остаточную сумму квадратов , и они называются « методами наименьших квадратов » в отличие от метода наименьших абсолютных отклонений . Последний придает равный вес малым и большим ошибкам, тогда как первый придает больший вес большим ошибкам. Остаточная сумма квадратов также дифференцируема , что обеспечивает удобное свойство для выполнения регрессии . Метод наименьших квадратов, применяемый к линейной регрессии , называется обычным методом наименьших квадратов, а метод наименьших квадратов, применяемый к нелинейной регрессии , называется нелинейным методом наименьших квадратов . Также в модели линейной регрессии недетерминированная часть модели называется членом ошибки, возмущением или, проще говоря, шумом. И линейная регрессия, и нелинейная регрессия рассматриваются с помощью полиномиального метода наименьших квадратов , который также описывает дисперсию в прогнозе зависимой переменной (ось y) как функцию независимой переменной (ось x) и отклонения (ошибки, шум, возмущений) от расчетной (подобранной) кривой.

Процессы измерения, которые генерируют статистические данные, также подвержены ошибкам. Многие из этих ошибок классифицируются как случайные (шум) или систематические ( систематическая ошибка ), но другие типы ошибок (например, грубая ошибка, например, когда аналитик сообщает неверные единицы измерения) также могут быть важны. Наличие недостающих данных или цензурирования может привести к неправильной оценке и конкретные методы были разработаны для решения этих проблем.

Оценка интервала

Доверительные интервалы : красная линия - истинное значение среднего в этом примере, синие линии - случайные доверительные интервалы для 100 реализаций.

Большинство исследований отбирают только часть населения, поэтому результаты не полностью отражают всю популяцию. Любые оценки, полученные из выборки, лишь приблизительно соответствуют значению генеральной совокупности. Доверительные интервалы позволяют статистикам выразить, насколько близко оценка выборки соответствует истинному значению для всей генеральной совокупности. Часто они выражаются как 95% доверительные интервалы. Формально 95% доверительный интервал для значения - это диапазон, в котором, если бы выборка и анализ были повторены в одних и тех же условиях (давая другой набор данных), интервал будет включать истинное (совокупное) значение в 95% всех возможных случаев. . Это не означает, что вероятность того, что истинное значение находится в доверительном интервале, составляет 95%. С частотной точки зрения такое утверждение даже не имеет смысла, поскольку истинное значение не является случайной величиной . Либо истинное значение находится в заданном интервале, либо нет. Однако верно то, что до того, как какие-либо данные будут отобраны и получен план построения доверительного интервала, вероятность того, что еще не рассчитанный интервал покроет истинное значение, составляет 95%: на этом этапе границы интервала - это еще не наблюдаемые случайные величины . Один подход, который дает интервал, который можно интерпретировать как имеющий заданную вероятность содержания истинного значения, заключается в использовании достоверного интервала из байесовской статистики : этот подход зависит от другого способа интерпретации того, что подразумевается под «вероятностью» , то есть как байесовская вероятность .

В принципе доверительные интервалы могут быть симметричными или асимметричными. Интервал может быть асимметричным, потому что он работает как нижняя или верхняя граница для параметра (левосторонний интервал или правосторонний интервал), но он также может быть асимметричным, поскольку двусторонний интервал построен с нарушением симметрии относительно оценки. Иногда границы доверительного интервала достигаются асимптотически, и они используются для аппроксимации истинных границ.

Значимость

Статистика редко дает простой ответ типа Да / Нет на анализируемый вопрос. Интерпретация часто сводится к уровню статистической значимости, применяемого к числам, и часто относится к вероятности того, что значение точно отклоняет нулевую гипотезу (иногда называемое p-значением ).

На этом графике черная линия представляет собой распределение вероятностей для тестовой статистики , критическая область - это набор значений справа от наблюдаемой точки данных (наблюдаемое значение тестовой статистики), а значение p представлено зеленой областью.

Стандартный подход заключается в проверке нулевой гипотезы против альтернативной гипотезы. Критическая область является множеством значений оценки , что приводит к опровержению нулевой гипотезы. Вероятность ошибки типа I - это вероятность того, что оценщик принадлежит критической области при условии, что нулевая гипотеза верна ( статистическая значимость ), а вероятность ошибки типа II - это вероятность того, что оценщик не принадлежит данной критической области. что альтернативная гипотеза верна. Статистическая мощность теста вероятность того, что он правильно отвергает нулевую гипотезу , когда нулевая гипотеза неверна.

Ссылка на статистическую значимость не обязательно означает, что общий результат значим с точки зрения реального мира. Например, в большом исследовании лекарственного средства может быть показано, что лекарственное средство имеет статистически значимый, но очень небольшой положительный эффект, так что лекарство вряд ли окажет заметную помощь пациенту.

Хотя в принципе приемлемый уровень статистической значимости может быть предметом споров, р-значение является наименьшим уровнем значимости, который позволяет тесту отклонить нулевую гипотезу. Этот тест логически эквивалентен утверждению, что p-значение - это вероятность, при условии, что нулевая гипотеза верна, получить результат, по крайней мере, такой же экстремальный, как статистика теста . Следовательно, чем меньше p-значение, тем ниже вероятность совершения ошибки типа I.

Некоторые проблемы обычно связаны с этой структурой (см. Критику проверки гипотез ):

• Статистически значимая разница все же может не иметь практического значения, но можно правильно сформулировать тесты, чтобы учесть это. Один ответ предполагает выход за рамки сообщения только об уровне значимости и включение р- значения при сообщении о том, отклонена или принята гипотеза. Однако значение p не указывает размер или важность наблюдаемого эффекта, а также может преувеличивать важность незначительных различий в крупных исследованиях. Лучшим и все более распространенным подходом является отчет о доверительных интервалах . Хотя они производятся на основе тех же расчетов, что и проверки гипотез или p- значений, они описывают как размер эффекта, так и окружающую его неопределенность.
• Ошибка транспонированной условной гипотезы , также известная как ошибка прокурора : критика возникает из-за того, что подход к проверке гипотез вынуждает отдавать предпочтение одной гипотезе ( нулевая гипотеза ), поскольку оценивается вероятность наблюдаемого результата с учетом нулевой гипотезы, а не вероятность того, что нулевая гипотеза с учетом наблюдаемого результата. Альтернативой этому подходу является байесовский вывод , хотя он требует установления априорной вероятности .
• Отказ от нулевой гипотезы не означает автоматического доказательства альтернативной гипотезы.
• Как и все в выводной статистике, он полагается на размер выборки, и поэтому под жирными хвостами p-значения могут быть вычислены неправильно.

Примеры

Некоторые известные статистические тесты и процедуры:

Исследовательский анализ данных

Исследовательский анализ данных ( EDA ) - это подход к анализу наборов данных для обобщения их основных характеристик, часто с помощью визуальных методов. Статистическая модель может быть использована или нет, но в первую очередь EDA для видеть то , что данные могут сказать нам за формальное моделирование или гипотезы задачи тестирования.

Неправильное использование

Неправильное использование статистики может привести к незаметным, но серьезным ошибкам в описании и интерпретации - тонким в том смысле, что такие ошибки допускают даже опытные профессионалы, и серьезным в том смысле, что они могут привести к серьезным ошибкам в принятии решений. Например, социальная политика, медицинская практика и надежность таких сооружений, как мосты, - все зависит от правильного использования статистики.

Даже при правильном применении статистических методов результаты могут быть трудными для интерпретации для тех, у кого нет опыта. Статистическая значимость тренда в данных-который измеряет степень , в которой тенденция может быть вызвана случайным изменением в образце, может или не может согласиться с интуитивным чувством своей значимости. Набор основных статистических навыков (и скептицизма), необходимых людям для правильного обращения с информацией в повседневной жизни, называется статистической грамотностью .

Существует общее мнение, что статистические знания слишком часто преднамеренно используются неправильно , ища способы интерпретировать только те данные, которые благоприятны для выступающего. Недоверие и непонимание статистики связано с цитатой: « Есть три вида лжи: ложь, проклятая ложь и статистика ». Неправильное использование статистики может быть как непреднамеренным, так и преднамеренным, и в книге « Как лгать со статистикой» излагается ряд соображений. В попытке пролить свет на использование и неправильное использование статистики, проводятся обзоры статистических методов, используемых в конкретных областях (например, Warne, Lazo, Ramos, and Ritter (2012)).

Способы избежать неправильного использования статистики включают использование правильных диаграмм и избежание предвзятости . Неправильное использование может произойти, когда выводы чрезмерно обобщены и заявлены как репрезентативные для большего, чем они есть на самом деле, часто преднамеренно или бессознательно игнорируя систематическую ошибку выборки. Гистограммы, пожалуй, самые простые в использовании и понимании диаграммы, и их можно создавать вручную или с помощью простых компьютерных программ. К сожалению, большинство людей не ищут предвзятости или ошибок, поэтому их не замечают. Таким образом, люди часто могут верить, что что-то правда, даже если это плохо представлено . Чтобы данные, собранные на основе статистики, были правдоподобными и точными, отобранная выборка должна быть репрезентативной для всего. По словам Хаффа, «надежность образца может быть разрушена [предвзятостью] ... позвольте себе некоторую степень скептицизма».

Чтобы помочь в понимании статистики, Хафф предложил ряд вопросов, которые нужно задать в каждом случае:

• Кто так сказал? (Есть ли у него / у нее топор, который нужно заточить?)
• Откуда он / она знает? (Есть ли у него / нее ресурсы, чтобы знать факты?)
• Чего не хватает? (Он / она дает нам полную картину?)
• Кто-то сменил тему? (Предлагает ли он / она правильный ответ на неправильную проблему?)
• Имеет ли это смысл? (Логичен ли его / ее вывод и согласуется ли он с тем, что мы уже знаем?)

Путая переменная проблема: Х и У могут быть коррелированы, не потому , что существует причинно - следственная связь между ними, а потому , что оба зависят от третьей переменной Z . Z называется смешивающим фактором.

Неправильная интерпретация: корреляция

Концепция корреляции заслуживает особого внимания из-за потенциальной путаницы, которую она может вызвать. Статистический анализ набора данных часто показывает, что две переменные (свойства) рассматриваемой совокупности имеют тенденцию изменяться вместе, как если бы они были связаны. Например, исследование годового дохода, которое также учитывает возраст смерти, может обнаружить, что бедные люди, как правило, живут короче, чем богатые. Считается, что две переменные коррелированы; однако они могут быть или не быть причиной друг друга. Явление корреляции может быть вызвано третьим, ранее не рассматривавшимся явлением, называемым скрытой переменной или смешанной переменной . По этой причине невозможно сразу сделать вывод о существовании причинно-следственной связи между двумя переменными. (См. Корреляция не подразумевает причинной связи .)

Приложения

Прикладная статистика, теоретическая статистика и математическая статистика

Прикладная статистика включает в себя описательную статистику и применение статистических выводов. Теоретическая статистика касается логических аргументов, лежащих в основе обоснования подходов к статистическому выводу , а также охватывающая математическая статистика . Математическая статистика включает в себя не только манипуляции с распределениями вероятностей, необходимые для получения результатов, связанных с методами оценки и вывода, но также различные аспекты вычислительной статистики и планирования экспериментов .

Статистические консультанты могут помочь организациям и компаниям, у которых нет собственного опыта, необходимого для решения их конкретных вопросов.

Машинное обучение и интеллектуальный анализ данных

Модели машинного обучения - это статистические и вероятностные модели, которые фиксируют закономерности в данных с помощью вычислительных алгоритмов.

Статистика в академии

Статистика применима к широкому кругу академических дисциплин , включая естественные и социальные науки , правительство и бизнес. Бизнес-статистика применяет статистические методы в эконометрике , аудите, производстве и операциях, включая улучшение услуг и маркетинговые исследования. В области биологических наук, 12 наиболее часто статистические тесты: дисперсионный анализ (ANOVA), критерий хи-квадрат , критерий Стьюдента , линейная регрессия , коэффициент корреляции Пирсона , Манна-Уитни U Test , Крускала-Уоллиса , Шеннона Индекс разнообразия , тест Тьюки , кластерный анализ , ранговый корреляционный тест Спирмена и анализ главных компонентов .

Типичный курс статистики охватывает описательную статистику, вероятность, биномиальное и нормальное распределения , проверку гипотез и доверительных интервалов, линейную регрессию и корреляцию. Современные курсы фундаментальной статистики для студентов бакалавриата ориентированы на правильный выбор тестов, интерпретацию результатов и использование бесплатного программного обеспечения для статистики .

Статистические вычисления

gretl , пример статистического пакета с открытым исходным кодом

Быстрый и устойчивый рост вычислительной мощности, начавшийся со второй половины 20 века, оказал существенное влияние на практику статистической науки. Ранние статистические модели почти всегда принадлежали к классу линейных моделей , но мощные компьютеры в сочетании с подходящими численными алгоритмами вызвали повышенный интерес к нелинейным моделям (таким как нейронные сети ), а также к созданию новых типов, таких как обобщенные линейные модели. и многоуровневые модели .

Повышенная вычислительная мощность также привела к растущей популярности вычислительно-ресурсоемких методов, основанных на повторной выборке , таких как тесты перестановки и бутстрап , в то время как такие методы, как выборка Гиббса , сделали использование байесовских моделей более осуществимым. Компьютерная революция имеет значение для будущего статистики с новым акцентом на «экспериментальную» и «эмпирическую» статистику. Сейчас доступно большое количество статистического программного обеспечения как общего, так и специального назначения . Примеры доступного программного обеспечения , способного комплексного статистического вычисления включают в себя такие программы, как Mathematica , SAS , SPSS и R .

Статистика применительно к математике или искусству

Традиционно статистика занималась составлением выводов с использованием полустандартизированной методологии, которая «требовала обучения» в большинстве наук. Эта традиция изменилась с использованием статистики в недифференциальных контекстах. То, что когда-то считалось сухим предметом, который во многих областях воспринимался как требование степени, теперь воспринимается с энтузиазмом. Первоначально высмеиваемый некоторыми математическими пуристами, теперь он считается важной методологией в определенных областях.

• В теории чисел , разброс участки данных , генерируемых с помощью функции распределения могут быть трансформированы с привычными средствами , используемых в статистике , чтобы выявить лежащую в основе модели, которые затем могут привести к гипотезам.
• Методы статистики, в том числе методы прогнозирования в прогнозировании , сочетаются с теорией хаоса и фрактальной геометрией для создания видеоработ, которые считаются очень красивыми.
• Процесс искусства из Джексона Поллока опирался на художественные эксперименты , лежащие в основе которой распределения в природе были художественно выявлены. С появлением компьютеров статистические методы стали применяться для формализации таких естественных процессов, обусловленных распределением, для создания и анализа движущихся видеоарт.
• В перформансе методы статистики могут использоваться прогнозирующим образом , например, в карточном фокусе, основанном на марковском процессе, который работает только некоторое время, причину которого можно предсказать с помощью статистической методологии.
• Статистические данные можно использовать для прогнозирования создания искусства, как в статистической или стохастической музыке, изобретенной Янисом Ксенакисом , где музыка зависит от исполнения. Хотя этот вид артистизма не всегда проявляется так, как ожидалось, его поведение предсказуемо и настраивается с помощью статистики.

Специализированные дисциплины

Статистические методы используются в широком спектре видов научных и социальных исследований, в том числе: биостатистика , вычислительная биология , вычислительная социология , сетевая биология , социальные науки , социология и социальные исследования . Некоторые области исследований настолько широко используют прикладную статистику, что имеют специализированную терминологию . Эти дисциплины включают:

Кроме того, существуют определенные типы статистического анализа, в которых также разработана собственная специализированная терминология и методология:

Статистика также является ключевым инструментом в бизнесе и производстве. Он используется для понимания изменчивости систем измерения, процессов управления (как в статистическом управлении процессами или SPC), для обобщения данных и принятия решений на основе данных. В этих ролях это ключевой инструмент и, возможно, единственный надежный инструмент.

Смотрите также

Основы и основные области статистики

Ссылки

дальнейшее чтение

• Лидия Денуорт, «Серьезная проблема: стандартные научные методы подвергаются критике. Изменится ли что-нибудь?», Scientific American , vol. 321, нет. 4 (октябрь 2019 г.), стр. 62–67. «Использование р значений в течение почти столетия [после 1925] для определения статистической значимости из экспериментальных результатов способствовало иллюзии определенности и [к] воспроизводимости кризисам во многих областях науки . Существует растущая решимость реформ статистического анализ ... Некоторые [исследователи] предлагают изменить статистические методы, в то время как другие отказались бы от порога для определения «значимых» результатов ». (стр.63)
• Барбара Илловски; Сьюзан Дин (2014). Вводная статистика . OpenStax CNX. ISBN 9781938168208.
• Дэвид В. Стокбургер, Вводная статистика: концепции, модели и приложения , 3-е издание в Интернете. Государственный университет Миссури .
• Статистика OpenIntro , 3-е издание, Диез, Барр и Четинкайа-Рундел
• Стивен Джонс, 2010. Статистика в психологии: объяснения без уравнений . Пэлгрейв Макмиллан. ISBN  9781137282392 .
• Коэн, Дж (1990). «Вещи, которые я узнал (на данный момент)» (PDF) . Американский психолог . 45 : 1304–1312. DOI : 10.1037 / 0003-066x.45.12.1304 . Архивировано 18 октября 2017 года из оригинального (PDF) .
• Гигеренцер, Г. (2004). «Бездумная статистика». Социально-экономический журнал . 33 : 587–606. DOI : 10.1016 / j.socec.2004.09.033 .
• Иоаннидис, JPA (2005). «Почему большинство опубликованных результатов исследований ложны» . PLoS Medicine . 2 : 696–701. DOI : 10.1371 / journal.pmed.0040168 . PMC  1855693 . PMID  17456002 .

внешние ссылки

• (Электронная версия): StatSoft, Inc. (2013). Электронный учебник статистики . Талса, ОК: StatSoft.
• Обучение статистике в Интернете: интерактивный мультимедийный курс обучения . Разработано Университетом Райса (ведущий разработчик), Хьюстонским университетом Клир-Лейк, Университетом Тафтса и Национальным научным фондом.
• Статистические вычислительные ресурсы UCLA
• Философия статистики из Стэнфордской энциклопедии философии