Модели ошибок в переменных - Errors-in-variables models

В статистике , ошибки-в-переменных модели или измерения модели ошибок являются регрессионные модели , которые учитывают ошибок измерения в независимых переменных . Напротив, стандартные модели регрессии предполагают, что эти регрессоры были точно измерены или наблюдались без ошибок; как таковые, эти модели учитывают только ошибки в зависимых переменных или ответах.

Иллюстрация разбавления регрессии (или систематической ошибки ослабления) с помощью ряда оценок регрессии в моделях с ошибками в переменных. Две линии регрессии (красные) ограничивают диапазон возможностей линейной регрессии. Неглубокий наклон получается, когда независимая переменная (или предиктор) находится на абсциссе (ось x). Более крутой наклон получается, когда независимая переменная находится на ординате (ось y). По соглашению с независимой переменной на оси x получается более пологий наклон. Зеленые контрольные линии - это средние значения в произвольных интервалах по каждой оси. Обратите внимание, что более крутые оценки регрессии для зеленого и красного более согласуются с меньшими ошибками в переменной оси y.

В случае, когда некоторые регрессоры были измерены с ошибками, оценка, основанная на стандартном предположении, приводит к непоследовательным оценкам, что означает, что оценки параметров не стремятся к истинным значениям даже в очень больших выборках. Для простой линейной регрессии эффект заключается в занижении коэффициента, известном как смещение затухания . В нелинейных моделях направление смещения, вероятно, будет более сложным.

Мотивирующий пример

Рассмотрим простую модель линейной регрессии вида

{\ displaystyle y_ {t} = \ alpha + \ beta x_ {t} ^ {*} + \ varepsilon _ {t} \ ,, \ quad t = 1, \ ldots, T,}

где обозначает истинный, но ненаблюдаемый регрессор . Вместо этого мы наблюдаем это значение с ошибкой: ${\ displaystyle x_ {t} ^ {*}}$

{\ displaystyle x_ {t} = x_ {t} ^ {*} + \ eta _ {t} \,}

где предполагается, что ошибка измерения не зависит от истинного значения . ${\ displaystyle \ eta _ {t}}$ ${\ displaystyle x_ {t} ^ {*}}$

Если 's просто регрессируют на ' s (см. Простую линейную регрессию ), то оценка коэффициента наклона будет ${\ displaystyle y_ {t}}$ ${\ displaystyle x_ {t}}$

{\ displaystyle {\ hat {\ beta}} = {\ frac {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (x_ {t} - {\ bar {x}) }) (y_ {t} - {\ bar {y}})} {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (x_ {t} - {\ bar { x}}) ^ {2}}} \ ,,}

который сходится по мере неограниченного увеличения размера выборки : ${\ displaystyle T}$

{\ displaystyle {\ hat {\ beta}} {\ xrightarrow {p}} {\ frac {\ operatorname {Cov} [\, x_ {t}, y_ {t} \,]} {\ operatorname {Var} [ \, x_ {t} \,]}} = {\ frac {\ beta \ sigma _ {x ^ {*}} ^ {2}} {\ sigma _ {x ^ {*}} ^ {2} + \ сигма _ {\ eta} ^ {2}}} = {\ frac {\ beta} {1+ \ sigma _ {\ eta} ^ {2} / \ sigma _ {x ^ {*}} ^ {2}} } \ ,.}

Вариации неотрицательны, так что в пределе оценка меньше по величине, чем истинное значение , эффект, который статистики называют ослаблением или разбавлением регрессии . Таким образом, «наивная» оценка методом наименьших квадратов несовместима в этой настройке. Однако оценщик является последовательным оценщиком параметра, необходимого для наилучшего линейного предиктора данного : в некоторых приложениях это может быть то, что требуется, а не оценка `` истинного '' коэффициента регрессии, хотя это предполагает, что дисперсия ошибки в наблюдении остаются исправленными. Это непосредственно следует из результата, приведенного непосредственно выше, и того факта, что коэффициент регрессии, связывающий 's с фактически наблюдаемыми ' s, в простой линейной регрессии определяется выражением ${\ displaystyle \ beta}$ ${\ displaystyle y}$ ${\ displaystyle x}$ ${\ displaystyle x ^ {*}}$ ${\ displaystyle y_ {t}}$ ${\ displaystyle x_ {t}}$

{\ displaystyle \ beta _ {x} = {\ frac {\ operatorname {Cov} [\, x_ {t}, y_ {t} \,]} {\ operatorname {Var} [\, x_ {t} \, ]}}.}

Именно этот коэффициент, а не тот, который потребовался бы для построения предиктора на основе наблюдаемого, подверженного шуму. ${\ displaystyle \ beta}$ ${\ displaystyle y}$ ${\ displaystyle x}$

Можно утверждать, что почти все существующие наборы данных содержат ошибки разной природы и величины, поэтому систематическая ошибка ослабления встречается очень часто (хотя при многомерной регрессии направление систематической ошибки неоднозначно). Джерри Хаусман видит в этом железный закон эконометрики : «Величина оценки обычно меньше ожидаемой».

Технические характеристики

Обычно модели ошибок измерения описываются с использованием подхода скрытых переменных . Если переменная отклика и наблюдаются значения регрессоров, то предполагается , существуют какие - то скрытые переменные и которые следуют «истинной» в модели функциональной зависимости , и таким образом, что наблюдаемые величины их шумные наблюдения: ${\ displaystyle y}$ ${\ displaystyle x}$ ${\ displaystyle y ^ {*}}$ ${\ displaystyle x ^ {*}}$ ${\ Displaystyle г (\ cdot)}$

{\ displaystyle {\ begin {cases} y ^ {*} = g (x ^ {*} \ !, w \, | \, \ theta), \\ y = y ^ {*} + \ varepsilon, \\ x = x ^ {*} + \ eta, \ end {case}}}

где находятся в модели параметры и те регрессоры , которые предполагаются свободными от ошибок (например , когда линейная регрессия содержит перехват, регрессор что соответствует константе , безусловно , не имеет «ошибки измерений»). В зависимости от спецификации эти безошибочные регрессоры могут или не могут рассматриваться отдельно; в последнем случае просто предполагается, что соответствующие элементы в матрице дисперсии s равны нулю. ${\ displaystyle \ theta}$ ${\ displaystyle w}$ ${\ displaystyle \ eta}$

Переменные , , все наблюдали , что означает , что статистик обладает набором данных из статистических единиц , которые следуют за процесс генерирования данных , описанными выше; латентные переменные , , и не наблюдается , однако. ${\ displaystyle y}$ ${\ displaystyle x}$ ${\ displaystyle w}$ ${\ displaystyle n}$ ${\ displaystyle \ left \ {y_ {i}, x_ {i}, w_ {i} \ right \} _ {i = 1, \ dots, n}}$ ${\ displaystyle x ^ {*}}$ ${\ displaystyle y ^ {*}}$ ${\ displaystyle \ varepsilon}$ ${\ displaystyle \ eta}$

Эта спецификация не охватывает все существующие модели ошибок в переменных. Например, в некоторых из них функция может быть непараметрической или полупараметрической. Другие подходы моделируют отношения между и как распределительные, а не функциональные, то есть они предполагают, что условно on следует за определенным (обычно параметрическим) распределением. ${\ Displaystyle г (\ cdot)}$ ${\ displaystyle y ^ {*}}$ ${\ displaystyle x ^ {*}}$ ${\ displaystyle y ^ {*}}$ ${\ displaystyle x ^ {*}}$

Терминология и предположения

Наблюдаемая переменная может называться манифестом , индикатором или косвенной переменной . ${\ displaystyle x}$
Ненаблюдаемая переменная может быть названа скрытой или истинной переменной. Его можно рассматривать либо как неизвестную константу (в этом случае модель называется функциональной моделью ), либо как случайную величину (соответственно структурную модель ). ${\ displaystyle x ^ {*}}$
Связь между ошибкой измерения и скрытой переменной можно моделировать по-разному: ${\ displaystyle \ eta}$ $\ eta$ ${\ displaystyle x ^ {*}}$ $х ^ {*}$
- Классические ошибки : ошибки не зависят от скрытой переменной. Это наиболее распространенное предположение, оно подразумевает, что ошибки вносятся измерительным устройством и их величина не зависит от измеряемого значения. ${\ displaystyle \ eta \ perp x ^ {*}}$
- Независимость от среднего : ошибки равны нулю для каждого значения скрытого регрессора. Это менее ограничительное предположение, чем классическое, поскольку оно допускает наличие гетероскедастичности или других эффектов в ошибках измерения. ${\ Displaystyle \ OperatorName {E} [\ eta | x ^ {*}] \, = \, 0,}$
- Ошибки Берксона :ошибки не зависят от наблюдаемого регрессора x . Это предположение имеет очень ограниченную применимость. Одним из примеров являются ошибки округления: например, если возраст человека * является непрерывной случайной величиной , тогда как наблюдаемый возраст усекается до следующего наименьшего целого числа, тогда ошибка усечения приблизительно не зависит от наблюдаемого возраста . Другая возможность связана с экспериментом с фиксированным планом: например, если ученый решает провести измерение в определенный заранее определенный момент времени, скажем, в, тогда реальное измерение может произойти при каком-то другом значении(например, из-за конечного времени реакции ), и такая ошибка измерения обычно не зависит от «наблюдаемого» значения регрессора. ${\ Displaystyle \ эта \, \ перп \, х,}$ ${\ displaystyle x}$ ${\ displaystyle x = 10s}$ ${\ displaystyle x ^ {*}}$
- Ошибки неправильной классификации : частный случай фиктивных регрессоров . Если это индикатор определенного события или состояния (например, лицо мужского / женского пола, какое-либо лечение было / не предоставлено и т. Д.), То ошибка измерения в таком регрессоре будет соответствовать неправильной классификации, аналогичной типу I и типу II. ошибки в статистическом тестировании. В этом случае ошибка может принимать только 3 возможных значения, а ее условное распределение моделируется двумя параметрами:, и . Необходимым условием идентификации является то , что ошибочная классификация не должна происходить «слишком часто». (Эту идею можно обобщить на дискретные переменные с более чем двумя возможными значениями.) ${\ displaystyle x ^ {*}}$ ${\ displaystyle \ eta}$ ${\ displaystyle x ^ {*}}$ ${\ Displaystyle \ альфа = \ OperatorName {Pr} [\ eta = -1 | x ^ {*} = 1]}$ ${\ Displaystyle \ бета = \ OperatorName {Pr} [\ eta = 1 | x ^ {*} = 0]}$ ${\ Displaystyle \ альфа + \ бета <1}$

Линейная модель

Первыми были изучены линейные модели ошибок в переменных, вероятно, потому, что линейные модели были так широко использованы и они легче нелинейных. В отличие от стандартной регрессии методом наименьших квадратов (OLS), расширение ошибок в регрессии переменных (EiV) с простого случая на многомерный не так просто.

Простая линейная модель

Простая линейная модель ошибок в переменных уже была представлена в разделе «мотивация»:

{\ displaystyle {\ begin {case} y_ {t} = \ alpha + \ beta x_ {t} ^ {*} + \ varepsilon _ {t}, \\ x_ {t} = x_ {t} ^ {*} + \ eta _ {t}, \ end {case}}}

где все переменные скалярны . Здесь α и β представляют собой интересующие параметры, а σ _ε и σ _{η -} стандартные отклонения членов ошибки - являются мешающими параметрами . «Истинный» регрессор x * рассматривается как случайная величина ( структурная модель), не зависящая от ошибки измерения η ( классическое допущение).

Эта модель идентифицируемой в двух случаях: (1) либо латентный регрессор х * является не нормально распределены , (2) или х * имеет нормальное распределение, но ни ε _т , ни η _т делимы нормальным распределением. То есть параметры α , β могут быть последовательно оценены из набора данных без какой-либо дополнительной информации, при условии, что скрытый регрессор не является гауссовским. ${\ displaystyle \ scriptstyle (x_ {t}, \, y_ {t}) _ {t = 1} ^ {T}}$

До того, как этот результат идентифицируемости был установлен, статистики пытались применить метод максимального правдоподобия , предполагая, что все переменные являются нормальными, а затем пришли к выводу, что модель не идентифицирована. Предлагаемое решение заключалось в том, чтобы предположить, что некоторые параметры модели известны или могут быть оценены из внешнего источника. К таким методам оценки относятся:

Регрессия Деминга - предполагается, что отношение δ = σ² _ε / σ² _η известно. Это может быть подходящим, например, когда ошибки в y и x вызваны измерениями, а точность измерительных устройств или процедур известна. Случай, когда δ = 1, также известен как ортогональная регрессия .
Регрессия с известным коэффициентом надежности λ = σ² _∗ / ( σ² _η + σ² _∗ ), где σ² _∗ - дисперсия скрытого регрессора. Такой подход может быть применим, например, когда доступны повторяющиеся измерения одного и того же устройства, или когда коэффициент надежности известен из независимого исследования. В этом случае непротиворечивая оценка наклона равна оценке методом наименьших квадратов, деленной на λ .
Регрессия с известным σ² _η может произойти, если источник ошибок в x известен и их дисперсия может быть вычислена. Это может включать ошибки округления или ошибки, вносимые измерительным устройством. Когда известно σ² _η, мы можем вычислить коэффициент надежности как λ = ( σ² _x - σ² _η ) / σ² _x и свести проблему к предыдущему случаю.

Новые методы оценки, которые не предполагают знания некоторых параметров модели, включают:

Метод моментов - GMM- оценка, основанная на совместных кумулянтах третьего (или более высокого) порядка наблюдаемых переменных. Коэффициент наклона можно оценить по формуле
${\ displaystyle {\ hat {\ beta}} = {\ frac {{\ hat {K}} (n_ {1}, n_ {2} +1)} {{\ hat {K}} (n_ {1} + 1, n_ {2})}}, \ quad n_ {1}, n_ {2}> 0,}$

где ( n ₁ , n ₂ ) таковы, что K ( n ₁ +1, n ₂ ) - совместный кумулянт ( x , y ) - не равен нулю. В случае, когда третий центральный момент скрытого регрессора x * отличен от нуля, формула сводится к

${\ displaystyle {\ hat {\ beta}} = {\ frac {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (x_ {t} - {\ bar {x}) }) (y_ {t} - {\ bar {y}}) ^ {2}} {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (x_ {t} - {\ bar {x}}) ^ {2} (y_ {t} - {\ bar {y}})}} \.}$
Инструментальные переменные - регрессия, которая требует наличия определенных дополнительных переменных данных z , называемых инструментами . Эти переменные не должны быть коррелированы с ошибками в уравнении для зависимой (итоговой) переменной ( достоверно ), и они также должны быть коррелированы ( релевантны ) с истинными регрессорами x * . Если такие переменные могут быть найдены, то оценка принимает вид
${\ displaystyle {\ hat {\ beta}} = {\ frac {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (z_ {t} - {\ bar {z}) }) (y_ {t} - {\ bar {y}})} {{\ tfrac {1} {T}} \ sum _ {t = 1} ^ {T} (z_ {t} - {\ bar { z}}) (x_ {t} - {\ bar {x}})}} \.}$

Многопараметрическая линейная модель

Модель с несколькими переменными выглядит точно так же, как простая линейная модель, только на этот раз β , η _t , x _t и x * _t являются векторами k × 1.

{\ displaystyle {\ begin {cases} y_ {t} = \ alpha + \ beta 'x_ {t} ^ {*} + \ varepsilon _ {t}, \\ x_ {t} = x_ {t} ^ {* } + \ eta _ {t}. \ end {case}}}

В случае, когда ( ε _t , η _t ) совместно нормально, параметр β не идентифицируется тогда и только тогда, когда существует невырожденная блочная матрица k × k [ a A ], где a - вектор k × 1, такой что a′x * распределяется нормально и независимо от A′x * . В случае, когда ε _t , η _t1 , ..., η _tk взаимно независимы, параметр β не идентифицируется тогда и только тогда, когда в дополнение к указанным выше условиям некоторые ошибки могут быть записаны как сумма двух независимых переменных один из которых нормальный.

Некоторые из методов оценивания многомерных линейных моделей:

Всего наименьших квадратов - это расширение регрессии Деминга до многомерной настройки. Когда все k +1 компоненты вектора ( ε , η ) имеют равные дисперсии и независимы, это эквивалентно запуску ортогональной регрессии y по вектору x, то есть регрессии, которая минимизирует сумму квадратов расстояний между точек ( y _t , x _t ) и k -мерной гиперплоскости "наилучшего соответствия".
Метод моментов оценки может быть построена на основе условий момента Е [ г _т · ( у _т - & alpha ; - β'x _т )] = 0, где (5 к + 3 ) мерный вектор инструментов г _т определен в виде
${\ displaystyle {\ begin {align} & z_ {t} = \ left (1 \ z_ {t1} '\ z_ {t2}' \ z_ {t3} '\ z_ {t4}' \ z_ {t5} '\ z_ {t6} '\ z_ {t7}' \ right) ', \ quad {\ text {where}} \\ & z_ {t1} = x_ {t} \ circ x_ {t} \\ & z_ {t2} = x_ { t} y_ {t} \\ & z_ {t3} = y_ {t} ^ {2} \\ & z_ {t4} = x_ {t} \ circ x_ {t} \ circ x_ {t} -3 {\ big ( } \ operatorname {E} [x_ {t} x_ {t} '] \ circ I_ {k} {\ big)} x_ {t} \\ & z_ {t5} = x_ {t} \ circ x_ {t} y_ {t} -2 {\ big (} \ operatorname {E} [y_ {t} x_ {t} '] \ circ I_ {k} {\ big)} x_ {t} -y_ {t} {\ big ( } \ operatorname {E} [x_ {t} x_ {t} '] \ circ I_ {k} {\ big)} \ iota _ {k} \\ & z_ {t6} = x_ {t} y_ {t} ^ {2} - \ operatorname {E} [y_ {t} ^ {2}] x_ {t} -2y_ {t} \ operatorname {E} [x_ {t} y_ {t}] \\ & z_ {t7} = y_ {t} ^ {3} -3y_ {t} \ operatorname {E} [y_ {t} ^ {2}] \ end {выровнено}}}$

где обозначает произведение матриц Адамара , а переменные x _t , y _t были предварительно обнулены. Авторы метода предлагают использовать модифицированную оценку ВА Фуллера. ${\ displaystyle \ circ}$

Этот метод может быть расширен для использования моментов выше третьего порядка, если необходимо, и для учета переменных, измеренных без ошибок.
Инструментальные переменный подход требует , чтобы найти дополнительные данные переменного г _т , которые будут служить в качестве инструментов для mismeasured регрессор х _т . Этот метод является наиболее простым с точки зрения реализации, однако его недостатком является то, что он требует сбора дополнительных данных, что может быть дорогостоящим или даже невозможным. Когда инструменты могут быть найдены, оценщик принимает стандартную форму
${\ displaystyle {\ hat {\ beta}} = {\ big (} X'Z (Z'Z) ^ {- 1} Z'X {\ big)} ^ {- 1} X'Z (Z'Z ) ^ {- 1} Z'y.}$

Нелинейные модели

Общая модель нелинейных ошибок измерения принимает форму

{\ displaystyle {\ begin {cases} y_ {t} = g (x_ {t} ^ {*}) + \ varepsilon _ {t}, \\ x_ {t} = x_ {t} ^ {*} + \ eta _ {t}. \ end {case}}}

Здесь функция g может быть параметрической или непараметрической. Когда функция g параметрическая, она будет записана как g (x *, β) .

Для общего векторного регрессора x * условия идентифицируемости модели неизвестны. Однако в случае скаляра x * модель идентифицируется, если только функция g не имеет "логарифмически экспоненциальную" форму.

{\ displaystyle g (x ^ {*}) = a + b \ ln {\ big (} e ^ {cx ^ {*}} + d {\ big)}}

а скрытый регрессор x * имеет плотность

{\ displaystyle f_ {x ^ {*}} (x) = {\ begin {cases} Ae ^ {- Be ^ {Cx} + CDx} (e ^ {Cx} + E) ^ {- F}, & { \ text {if}} \ d> 0 \\ Ae ^ {- Bx ^ {2} + Cx} & {\ text {if}} \ d = 0 \ end {cases}}}

где константы A, B, C, D, E, F могут зависеть от a, b, c, d .

Несмотря на этот оптимистичный результат, в настоящее время не существует методов оценки нелинейных моделей ошибок в переменных без какой-либо посторонней информации. Однако есть несколько методов, которые используют некоторые дополнительные данные: либо инструментальные переменные, либо повторные наблюдения.

Методы инструментальных переменных

Метод моделирования моментов Ньюи для параметрических моделей - требует наличия дополнительного набора наблюдаемых переменных-предикторов z _t , так что истинный регрессор может быть выражен как
${\ displaystyle x_ {t} ^ {*} = \ pi _ {0} 'z_ {t} + \ sigma _ {0} \ zeta _ {t},}$

где π ₀ и σ ₀ - (неизвестные) постоянные матрицы, а ζ _t ⊥ z _t . Коэффициент π ₀ можно оценить с помощью стандартной регрессии x по z методом наименьших квадратов . Распределение ζ _t неизвестно, однако мы можем смоделировать его как принадлежащее гибкому параметрическому семейству - ряду Эджворта :

${\ Displaystyle е _ {\ zeta} (v; \, \ gamma) = \ phi (v) \, \ textstyle \ sum _ {j = 1} ^ {J} \! \ gamma _ {j} v ^ {j }}$

где ϕ - стандартное нормальное распределение.

Смоделированные моменты могут быть вычислены с использованием алгоритма выборки по важности : сначала мы генерируем несколько случайных величин { v _ts ~ ϕ , s = 1,…, S , t = 1,…, T } из стандартного нормального распределения, затем вычисляем моменты при t -м наблюдении как

${\ displaystyle m_ {t} (\ theta) = A (z_ {t}) {\ frac {1} {S}} \ sum _ {s = 1} ^ {S} H (x_ {t}, y_ { t}, z_ {t}, v_ {ts}; \ theta) \ sum _ {j = 1} ^ {J} \! \ gamma _ {j} v_ {ts} ^ {j},}$

где θ = ( β , σ , γ ), A - просто некоторая функция инструментальных переменных z , а H - двухкомпонентный вектор моментов

${\ displaystyle {\ begin {align} & H_ {1} (x_ {t}, y_ {t}, z_ {t}, v_ {ts}; \ theta) = y_ {t} -g ({\ hat {\ pi}} 'z_ {t} + \ sigma v_ {ts}, \ beta), \\ & H_ {2} (x_ {t}, y_ {t}, z_ {t}, v_ {ts}; \ theta) = z_ {t} y_ {t} - ({\ hat {\ pi}} 'z_ {t} + \ sigma v_ {ts}) g ({\ hat {\ pi}}' z_ {t} + \ sigma v_ {ts}, \ beta) \ end {align}}}$
С помощью моментных функций m _t можно применить стандартную технику GMM для оценки неизвестного параметра θ .

Повторные наблюдения

В этом подходе доступны два (или, может быть, более) повторных наблюдения регрессора x * . Оба наблюдения содержат собственные ошибки измерения, однако эти ошибки должны быть независимыми:

{\ displaystyle {\ begin {cases} x_ {1t} = x_ {t} ^ {*} + \ eta _ {1t}, \\ x_ {2t} = x_ {t} ^ {*} + \ eta _ { 2t}, \ end {case}}}

где x * ⊥ η ₁ ⊥ η ₂ . Переменные η ₁ , η ₂ не обязательно должны быть одинаково распределены (хотя, если они являются эффективными оценками, их можно немного улучшить). С помощью только этих двух наблюдений можно последовательно оценить функцию плотности x *, используя технику деконволюции Котлярского .

Метод условной плотности Ли для параметрических моделей. Уравнение регрессии можно записать в терминах наблюдаемых переменных как
${\ displaystyle \ operatorname {E} [\, y_ {t} | x_ {t} \,] = \ int g (x_ {t} ^ {*}, \ beta) f_ {x ^ {*} | x} (x_ {t} ^ {*} | x_ {t}) dx_ {t} ^ {*},}$

где можно было бы вычислить интеграл, если бы мы знали условную функцию плотности ƒ _{x * | x} . Если эта функция может быть известна или оценена, тогда проблема превращается в стандартную нелинейную регрессию, которую можно оценить, например, с помощью метода NLLS .
Предполагая для простоты, что η ₁ , η ₂ одинаково распределены, эту условную плотность можно вычислить как

${\ displaystyle {\ hat {f}} _ {x ^ {*} | x} (x ^ {*} | x) = {\ frac {{\ hat {f}} _ {x ^ {*}} ( x ^ {*})} {{\ hat {f}} _ {x} (x)}} \ prod _ {j = 1} ^ {k} {\ hat {f}} _ {\ eta _ {j }} {\ big (} x_ {j} -x_ {j} ^ {*} {\ big)},}$

где с небольшим злоупотреблением обозначениями x _j обозначает j -ю компоненту вектора.
Все плотности в этой формуле можно оценить с помощью обращения эмпирических характеристических функций . В частности,

${\ displaystyle {\ begin {align} & {\ hat {\ varphi}} _ {\ eta _ {j}} (v) = {\ frac {{\ hat {\ varphi}} _ {x_ {j}} (v, 0)} {{\ hat {\ varphi}} _ {x_ {j} ^ {*}} (v)}}, \ quad {\ text {where}} {\ hat {\ varphi}} _ {x_ {j}} (v_ {1}, v_ {2}) = {\ frac {1} {T}} \ sum _ {t = 1} ^ {T} e ^ {iv_ {1} x_ {1tj } + iv_ {2} x_ {2tj}}, \\ {\ hat {\ varphi}} _ {x_ {j} ^ {*}} (v) = \ exp \ int _ {0} ^ {v} { \ frac {\ partial {\ hat {\ varphi}} _ {x_ {j}} (0, v_ {2}) / \ partial v_ {1}} {{\ hat {\ varphi}} _ {x_ {j }} (0, v_ {2})}} dv_ {2}, \\ & {\ hat {\ varphi}} _ {x} (u) = {\ frac {1} {2T}} \ sum _ { t = 1} ^ {T} {\ Big (} e ^ {iu'x_ {1t}} + e ^ {iu'x_ {2t}} {\ Big)}, \ quad {\ hat {\ varphi}} _ {x ^ {*}} (u) = {\ frac {{\ hat {\ varphi}} _ {x} (u)} {\ prod _ {j = 1} ^ {k} {\ hat {\ varphi}} _ {\ eta _ {j}} (u_ {j})}}. \ end {выравнивается}}}$

Чтобы инвертировать эту характеристическую функцию, необходимо применить обратное преобразование Фурье с параметром обрезки C, необходимым для обеспечения численной стабильности. Например:

${\ displaystyle {\ hat {f}} _ {x} (x) = {\ frac {1} {(2 \ pi) ^ {k}}} \ int _ {- C} ^ {C} \ cdots \ int _ {- C} ^ {C} e ^ {- iu'x} {\ hat {\ varphi}} _ {x} (u) du.}$
Оценка Шеннаха для параметрической линейной по параметрам нелинейной модели по переменным. Это модель вида
${\ displaystyle {\ begin {cases} y_ {t} = \ textstyle \ sum _ {j = 1} ^ {k} \ beta _ {j} g_ {j} (x_ {t} ^ {*}) + \ сумма _ {j = 1} ^ {\ ell} \ beta _ {k + j} w_ {jt} + \ varepsilon _ {t}, \\ x_ {1t} = x_ {t} ^ {*} + \ eta _ {1t}, \\ x_ {2t} = x_ {t} ^ {*} + \ eta _ {2t}, \ end {case}}}$

где w _t представляет переменные, измеренные без ошибок. Регрессор x * здесь является скалярным (метод можно распространить и на случай вектора x * ).
Если бы не ошибки измерения, это была бы стандартная линейная модель с оценщиком

${\ displaystyle {\ hat {\ beta}} = {\ big (} {\ hat {\ operatorname {E}}} [\, \ xi _ {t} \ xi _ {t} '\,] {\ big )} ^ {- 1} {\ hat {\ operatorname {E}}} [\, \ xi _ {t} y_ {t} \,],}$

где

${\ displaystyle \ xi _ {t} '= (g_ {1} (x_ {t} ^ {*}), \ cdots, g_ {k} (x_ {t} ^ {*}), w_ {1, t }, \ cdots, w_ {l, t}).}$

Оказывается, все ожидаемые значения в этой формуле можно оценить с помощью одного и того же трюка с деконволюцией. В частности, для общей наблюдаемой w _t (которая может быть 1, w _{1 t} ,…, w _{ℓ t} или y _t ) и некоторой функции h (которая может представлять любые g _j или g _i g _j ) мы имеем

${\ displaystyle \ operatorname {E} [\, w_ {t} h (x_ {t} ^ {*}) \,] = {\ frac {1} {2 \ pi}} \ int _ {- \ infty} ^ {\ infty} \ varphi _ {h} (- u) \ psi _ {w} (u) du,}$

где φ _h - преобразование Фурье функции h ( x * ), но с использованием того же соглашения, что и для характеристических функций ,

${\ displaystyle \ varphi _ {h} (u) = \ int e ^ {iux} h (x) dx}$ ,

а также

${\ displaystyle \ psi _ {w} (u) = \ operatorname {E} [\, w_ {t} e ^ {iux ^ {*}} \,] = {\ frac {\ operatorname {E} [w_ { t} e ^ {iux_ {1t}}]} {\ operatorname {E} [e ^ {iux_ {1t}}]}} \ exp \ int _ {0} ^ {u} i {\ frac {\ operatorname { E} [x_ {2t} e ^ {ivx_ {1t}}]} {\ operatorname {E} [e ^ {ivx_ {1t}}]}} dv}$
Полученная оценка непротиворечива и асимптотически нормальна. ${\ displaystyle \ scriptstyle {\ hat {\ beta}}}$
Оценка Шеннаха для непараметрической модели. Стандартная оценка Надарая – Ватсона для непараметрической модели принимает вид
${\ displaystyle {\ hat {g}} (x) = {\ frac {{\ hat {\ operatorname {E}}} [\, y_ {t} K_ {h} (x_ {t} ^ {*} - x) \,]} {{\ hat {\ operatorname {E}}} [\, K_ {h} (x_ {t} ^ {*} - x) \,]}},}$
при подходящем выборе ядра K и пропускной способности h . Оба ожидания здесь можно оценить с помощью той же методики, что и в предыдущем методе.