Оценщик - Estimator

В статистике , оценки является правило для вычисления оценки заданного количества , основанной на наблюдаемых данных : Таким образом , правило (оценщик), количество интереса (The estimand ) и его результат (оценка) отличается. Например, выборочное среднее - это обычно используемая оценка среднего значения генеральной совокупности .

Существуют точечные и интервальные оценщики . В точечных оценок дают однозначные результаты. Это контрастирует с интервальной оценкой , где результатом будет диапазон правдоподобных значений. «Одно значение» не обязательно означает «одно число», но включает оценочные значения с векторными или функциональными значениями.

Теория оценивания занимается свойствами оценок; то есть с определением свойств, которые можно использовать для сравнения разных оценок (разные правила создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил использования в данных обстоятельствах. Однако в устойчивой статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием менее хороших свойств, которые сохраняются в более широких условиях.

Фон

«Оценщик» или « точечная оценка » - это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Оцениваемый параметр иногда называют оценочным . Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным ( полупараметрические и непараметрические модели ). Если параметр обозначается то оценка традиционно написано путем добавления циркумфлекса над символом: . Будучи функцией данных, оценщик сам по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы. ${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$

Определение практически не накладывает ограничений на то, какие функции данных можно назвать «оценочными». Об привлекательности различных оценщиков можно судить по их свойствам, таким как несмещенность , среднеквадратическая ошибка , согласованность , асимптотическое распределение и т. Д. Построение и сравнение оценщиков являются предметами теории оценивания . В контексте теории принятия решений оценщик - это тип решающего правила , и его эффективность можно оценить с помощью функций потерь .

Когда слово «оценщик» используется без квалификатора, оно обычно относится к балльной оценке. Оценка в этом случае представляет собой единственную точку в пространстве параметров . Существует также другой тип оценки: интервальные оценки , где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во - первых, при оценке функции плотности вероятности случайных величин , а во- вторых , при оценке функции спектральной плотности в виде временного ряда . В этих задачах оценки - это функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие задачи интервального оценивания.

Определение

Предположим, что необходимо оценить фиксированный параметр . Тогда «оценщик» - это функция, которая отображает пространство выборки на набор оценок выборки . Оценка обычно обозначается символом . Часто бывает удобно выразить теорию, используя алгебру случайных величин : таким образом, если X используется для обозначения случайной величины, соответствующей наблюдаемым данным, оценка (сама трактуется как случайная величина) символизируется как функция этой случайной величины. , . Оценка для конкретного значения наблюдаемых данных (т. Е. Для ) тогда равна , что является фиксированным значением. Часто используются сокращенные обозначения, которые интерпретируются непосредственно как случайная величина , но это может вызвать путаницу. ${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle {\ widehat {\ theta}} (X)}$${\ displaystyle x}$${\ displaystyle X = x}$${\ Displaystyle {\ widehat {\ theta}} (х)}$${\ displaystyle {\ widehat {\ theta}}}$

Количественные свойства

Следующие определения и атрибуты актуальны.

Ошибка

Для данной выборки " ошибка " оценщика определяется как ${\ displaystyle x}$${\ displaystyle {\ widehat {\ theta}}}$

${\ Displaystyle е (х) = {\ widehat {\ theta}} (х) - \ theta,}$

где - оцениваемый параметр. Ошибка e зависит не только от средства оценки (формулы или процедуры оценки), но и от выборки. ${\ displaystyle \ theta}$

Среднеквадратичная ошибка

Среднеквадратичная ошибка из определяются как ожидаемое значение (вероятность усредненная, по всем образцам) квадраты ошибок; то есть, ${\ displaystyle {\ widehat {\ theta}}}$

${\ displaystyle \ operatorname {MSE} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} (X) - \ theta) ^ {2}].}$

Он используется, чтобы указать, насколько в среднем набор оценок далек от единственного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметр - это прицел на цель, оценка - это процесс стрельбы стрелами по цели, а отдельные стрелки - это оценки (выборки). Тогда высокая MSE означает, что среднее расстояние между стрелками от точки попадания является высоким, а низкая MSE означает, что среднее расстояние от точки попадания в точку является низким. Стрелки могут быть сгруппированы, а могут и не быть. Например, даже если все стрелки попадают в одну и ту же точку, но сильно не попадают в цель, MSE все равно относительно велика. Однако, если MSE относительно низка, то стрелки, вероятно, более сильно сгруппированы (чем сильно рассредоточены) вокруг цели.

Отклонение выборки

Для данного образца , то отклонение выборки из оценки определяются как ${\ displaystyle x}$${\ displaystyle {\ widehat {\ theta}}}$

${\ displaystyle d (x) = {\ widehat {\ theta}} (x) - \ operatorname {E} ({\ widehat {\ theta}} (X)) = {\ widehat {\ theta}} (x) - \ operatorname {E} ({\ widehat {\ theta}}),}$

где - ожидаемое значение оценщика. Отклонение выборки d зависит не только от оценщика, но и от выборки. ${\ displaystyle \ operatorname {E} ({\ widehat {\ theta}} (X))}$

Дисперсия

Дисперсия из просто ожидаемого значения квадратов отклонений выборки; то есть . Он используется, чтобы указать, насколько в среднем набор оценок далек от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр является мишенью для цели, а стрелки представляют собой оценки, то относительно высокая дисперсия означает, что стрелки рассеяны, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия низкая, группа стрелок все еще может быть далеко от цели, и даже если дисперсия высока, рассеянная совокупность стрелок все еще может быть несмещенной. Наконец, даже если все стрелы сильно не попадают в цель, но все же попадают в одну и ту же точку, дисперсия равна нулю. ${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle \ operatorname {var} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} - \ operatorname {E} [{\ widehat {\ theta}}] ) ^ {2}]}$

Предвзятость

Смещения из определяется как . Это расстояние между средним значением набора оценок и единственным оцениваемым параметром. Смещение является функцией истинного значения, поэтому, говоря, что смещение равно, означает, что для каждого смещения равно . ${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle B ({\ widehat {\ theta}}) = \ operatorname {E} ({\ widehat {\ theta}}) - \ theta}$${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle b}$${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle b}$

Смещение также является ожидаемым значением ошибки, поскольку . Если параметр соответствует цели, а стрелки являются оценочными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок не соответствует цели, а относительно низкое абсолютное смещение означает среднее положение стрелки попадают в цель. Они могут быть рассредоточены или сгруппированы. Взаимосвязь между систематической ошибкой и дисперсией аналогична взаимосвязи между точностью и точностью . ${\ displaystyle \ operatorname {E} ({\ widehat {\ theta}}) - \ theta = \ operatorname {E} ({\ widehat {\ theta}} - \ theta)}$

Оценщик - это беспристрастный оценщик того и только тогда, когда . Смещение - это свойство оценщика, а не оценки. Часто люди ссылаются на «смещенную оценку» или «несмещенную оценку», но на самом деле они говорят об «оценке, полученной от смещенной оценки», или «оценке, полученной от несмещенной оценки». Кроме того, люди часто путают «ошибку» одной оценки с «систематической ошибкой» оценки. То, что ошибка для одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения для своих ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, предвзятость оценщика не препятствует тому, чтобы ошибка оценки была равна нулю в конкретном случае. Идеальная ситуация - иметь беспристрастную оценку с низкой дисперсией, а также пытаться ограничить количество выборок, в которых ошибка является экстремальной (т. Е. Имеет несколько выбросов). Однако непредвзятость не обязательна. Часто, если допускается лишь небольшое смещение, можно найти оценщик с более низким значением MSE и / или меньшим количеством оценок выборки с выбросами. ${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle \ theta}$ ${\ displaystyle B ({\ widehat {\ theta}}) = 0}$

Альтернативой приведенной выше версии «несмещенный» является «несмещенный по медиане», когда медиана распределения оценок совпадает с истинным значением; таким образом, в долгосрочной перспективе половина оценок будет слишком заниженной, а половина - завышенной. Хотя это применимо непосредственно только к скалярным оценкам, его можно распространить на любую меру центральной тенденции распределения: см. Несмещенные по медиане оценки .

Отношения между количествами

• MSE, дисперсия и смещение связаны: то есть среднеквадратичная ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна MSE.${\ displaystyle \ operatorname {MSE} ({\ widehat {\ theta}}) = \ operatorname {var} ({\ widehat {\ theta}}) + (B ({\ widehat {\ theta}})) ^ { 2},}$
• Стандартное отклонение из оценки из ( квадратный корень из дисперсии) или оценка стандартного отклонения блока оценки от , называется стандартная ошибка из .${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle {\ widehat {\ theta}}}$

Поведенческие свойства

Последовательность

Согласованная последовательность оценщиков - это последовательность оценщиков, которые сходятся по вероятности к оцениваемой величине по мере неограниченного роста индекса (обычно размера выборки ). Другими словами, увеличение размера выборки увеличивает вероятность того, что оценка приближается к параметру генеральной совокупности.

Математически последовательность оценок { t _n ; n ≥ 0 } является непротиворечивой оценкой параметра θ тогда и только тогда, когда для всех ε > 0 , независимо от того, насколько они малы, мы имеем

${\ Displaystyle \ lim _ {п \ к \ infty} \ Pr \ left \ {\ left | t_ {n} - \ theta \ right | <\ varepsilon \ right \} = 1}$.

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность является строго согласованной , если она почти наверняка сходится к истинному значению.

Оценщик, который сходится к кратному параметру, может быть превращен в согласованный оценщик путем умножения оценщика на масштабный коэффициент , а именно истинное значение, деленное на асимптотическое значение оценщика. Это часто происходит при оценке масштабных параметров с помощью мер статистической дисперсии .

Асимптотическая нормальность

Асимптотически нормальная оценка является состоятельной оценкой, распределение вокруг истинного параметра & thetas приближается к нормальному распределению со стандартным отклонением сокращается пропорционально как размер выборки п растет. Использование для обозначения сходимости по распределению , т _п является асимптотически нормальным , если ${\ displaystyle 1 / {\ sqrt {n}}}$${\ displaystyle {\ xrightarrow {D}}}$

${\ displaystyle {\ sqrt {n}} (t_ {n} - \ theta) {\ xrightarrow {D}} N (0, V),}$

для некоторого V .

В этой формулировке V / n можно назвать асимптотической дисперсией оценки. Тем не менее, некоторые авторы также называть V асимптотическую дисперсию . Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является только приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V / n) просто равна нулю. Чтобы быть более конкретным, распределение оценки t _n слабо сходится к дельта-функции Дирака с центром в . ${\ displaystyle \ theta}$

Центральная предельная теорема следует асимптотической нормальности выборочных среднего как оценки истинного среднего. В более общем смысле, оценки максимального правдоподобия являются асимптотически нормальными при достаточно слабых условиях регулярности - см. Раздел об асимптотике статьи о максимальном правдоподобии. Однако не все оценки асимптотически нормальны; простейшие примеры обнаруживаются, когда истинное значение параметра лежит на границе допустимой области параметра. ${\ displaystyle {\ bar {X}}}$

Эффективность

Два естественно желательных свойства оценщиков заключаются в том, чтобы они были беспристрастными и имели минимальную среднеквадратичную ошибку (MSE). Как правило, они не могут быть удовлетворены одновременно: смещенная оценка может иметь более низкую среднеквадратичную ошибку (MSE), чем любая несмещенная оценка; см. смещение оценки .

Среди несмещенных оценок часто существует одна с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией ( MVUE ). В некоторых случаях существует несмещенная эффективная оценка , которая, помимо самой низкой дисперсии среди несмещенных оценок, удовлетворяет границе Крамера – Рао , которая является абсолютной нижней границей дисперсии для статистики переменной.

Что касается таких «лучших несмещенные оценки», смотрите также Крамера-Рао , теорема Гаусса-Маркова , теорема Lehmann-Шеффе , теорема Рао-Blackwell .

Надежность

Смотрите также

Примечания

использованная литература

• Большев, Логин Николаевич (2001) [1994], "Статистическая оценка" , Энциклопедия математики , EMS Press.
• Джейнс, ET (2007), Теория вероятностей: логика науки (5-е изд.), Cambridge University Press , ISBN 978-0-521-59271-0.
• Косорок, Михаил (2008). Введение в эмпирические процессы и полупараметрический вывод . Серии Спрингера в статистике. Springer . DOI : 10.1007 / 978-0-387-74978-5 . ISBN 978-0-387-74978-5.
• Lehmann, EL ; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer . ISBN 0-387-98502-6.
• Шао, июнь (1998), математическая статистика , Springer , ISBN 0-387-98674-X

внешние ссылки

• Основы теории оценивания