Потеря Хубера - Huber loss

В статистике , то потеря Huber является функция потерь используются в прочной регрессии , который менее чувствителен к выбросам в данных , чем квадрате потеря ошибок . Иногда используется вариант классификации.

Определение

Потери Хьюбера (зеленый ) и квадратичные потери ошибок (синий) в зависимости от${\ displaystyle \ delta = 1}$${\ displaystyle yf (x)}$

Функция потерь Хьюбера описывает штраф, понесенный процедурой оценки f . Хубер (1964) определяет функцию потерь кусочно следующим образом:

${\ displaystyle L _ {\ delta} (a) = {\ begin {cases} {\ frac {1} {2}} {a ^ {2}} & {\ text {for}} | a | \ leq \ delta , \\\ delta (| a | - {\ frac {1} {2}} \ delta), & {\ text {в противном случае.}} \ end {cases}}}$

Эта функция является квадратичной для малых значений a и линейной для больших значений с равными значениями и наклонами различных участков в двух точках, где . Переменная a часто относится к остаткам, то есть к разнице между наблюдаемыми и прогнозируемыми значениями , поэтому первое может быть расширено до ${\ Displaystyle | а | = \ дельта}$${\ Displaystyle а = yf (х)}$

${\ displaystyle L _ {\ delta} (y, f (x)) = {\ begin {case} {\ frac {1} {2}} (yf (x)) ^ {2} & {\ textrm {for} } | yf (x) | \ leq \ delta, \\\ delta \, (| yf (x) | - {\ frac {1} {2}} \ delta), & {\ textrm {в противном случае.}} \ конец {case}}}$

Мотивация

Два очень часто используемые функции потерь являются квадратом потери , и абсолютная потеря , . Квадраты результатов функции потерь в качестве арифметического среднего - несмещенной оценки , и результаты функции потерь абсолютного значения в срединной -unbiased оценки (в одномерном случае, и геометрическая средний -unbiased оценка для многомерного случая). Квадрат потерь имеет недостаток, заключающийся в том, что в нем преобладают выбросы - при суммировании по набору 's (как в ) на выборочное среднее слишком сильно влияют несколько особенно больших значений, когда распределение имеет тяжелые хвосты. : с точки зрения теории оценивания , асимптотическая относительная эффективность среднего для распределений с тяжелыми хвостами плохая. ${\ Displaystyle L (а) = а ^ {2}}$${\ Displaystyle L (а) = | а |}$${\ displaystyle a}$${\ textstyle \ сумма _ {я = 1} ^ {п} L (а_ {я})}$${\ displaystyle a}$

Как определено выше, функция потерь Хьюбера сильно выпукла в равномерной окрестности своего минимума ; на границе этой равномерной окрестности функция потерь Хубера имеет дифференцируемое продолжение до аффинной функции в точках и . Эти свойства позволяют сочетать большую часть чувствительности несмещенной по среднему и минимальной дисперсии оценки среднего (с использованием квадратичной функции потерь) и устойчивости несмещенной по медиане оценки (с использованием функции абсолютного значения). ${\ displaystyle a = 0}$${\ displaystyle a = - \ delta}$${\ displaystyle a = \ delta}$

Функция потерь псевдогубера

Функция потерь псевдохубера может использоваться в качестве гладкой аппроксимации функции потерь Хубера. Он сочетает в себе лучшие свойства квадрата потерь L2 и абсолютных потерь L1 , будучи сильно выпуклым при приближении к целевому / минимуму и менее крутым для экстремальных значений. Масштаб, при котором функция потерь псевдохубера переходит от потерь L2 для значений, близких к минимальным, к потерям L1 для экстремальных значений, а крутизна при экстремальных значениях может контролироваться значением. Функция потерь псевдохубера обеспечивает непрерывность производных для всех степеней. Он определяется как ${\ displaystyle \ delta}$

${\ displaystyle L _ {\ delta} (a) = \ delta ^ {2} \ left ({\ sqrt {1+ (a / \ delta) ^ {2}}} - 1 \ right).}$

Таким образом, эта функция аппроксимирует для малых значений и аппроксимирует прямую линию с наклоном для больших значений . ${\ displaystyle a ^ {2} / 2}$${\ displaystyle a}$${\ displaystyle \ delta}$${\ displaystyle a}$

Хотя приведенная выше форма является наиболее распространенной, существуют и другие гладкие аппроксимации функции потерь Хубера.

Вариант классификации

В целях классификации иногда используется вариант потери Хубера, называемый модифицированным Хубером . Учитывая прогноз (реальный классификатор) и истинную метку двоичного класса , модифицированная потеря Хубера определяется как ${\ displaystyle f (x)}$${\ Displaystyle у \ в \ {+ 1, -1 \}}$

${\ Displaystyle L (у, е (х)) = {\ begin {case} \ max (0,1-y \, f (x)) ^ {2} & {\ textrm {for}} \, \, y \, f (x) \ geq -1, \\ - 4y \, f (x) & {\ textrm {в противном случае.}} \ end {case}}}$

Этот термин представляет собой потерю шарнира, используемую машинами опорных векторов ; квадратично сглажены потери шарнира представляет собой обобщение . ${\ Displaystyle \ макс (0,1-у \, е (х))}$${\ displaystyle L}$

Приложения

Функция потерь Хубера используется в надежной статистике , М-оценке и аддитивном моделировании .

Смотрите также

• Winsorizing
• Надежная регрессия
• М-оценка
• Визуальное сравнение различных М-оценок

Рекомендации