Коэффициент неопределенности - Uncertainty coefficient

В статистике , то коэффициент неопределенности , называемый также знанием , энтропия коэффициента или U Theil в , является мерой номинальной ассоциации . Он был впервые представлен Анри Тейлом и основан на концепции информационной энтропии .

Определение

Предположим , что мы имеем образцы двух дискретных случайных величин, X и Y . Построив совместное распределение P _{X, Y} ( x ,  y ) , из которого мы можем вычислить условные распределения , P _{X | Y} ( x | y ) =  P _{X, Y} ( x ,  y ) / P _Y ( y ) и P _{Y | X} ( y | x ) =  P _{X, Y} ( x ,  y ) / P _X ( x ) и вычисляя различные энтропии, мы можем определить степень связи между двумя переменными.

Энтропия одного распределения определяется как:

${\ Displaystyle H (X) = - \ sum _ {x} P_ {X} (x) \ log P_ {X} (x),}$

в то время как условная энтропия задается как:

${\ Displaystyle H (X | Y) = - \ sum _ {x, ~ y} P_ {X, Y} (x, ~ y) \ log P_ {X | Y} (x | y).}$

Коэффициент неопределенности или квалификация определяется как:

${\ Displaystyle U (X | Y) = {\ гидроразрыва {H (X) -H (X | Y)} {H (X)}} = {\ frac {I (X; Y)} {H (X) }},}$

и сообщает нам: учитывая Y , какую долю битов X мы можем предсказать? В этом случае мы можем думать о X как о содержащем всю информацию, а о Y как о том, что позволяет предсказать часть такой информации.

Вышеприведенное выражение ясно показывает, что коэффициент неопределенности - это нормализованная взаимная информация I (X; Y) . В частности, коэффициент неопределенности колеблется в [0, 1] как I (X; Y) <H (X), и оба I (X, Y) и H (X) положительны или равны нулю.

Обратите внимание, что значение U (но не H !) Не зависит от основания журнала, поскольку все логарифмы пропорциональны.

Коэффициент неопределенности полезен для измерения достоверности алгоритма статистической классификации и имеет преимущество перед более простыми мерами точности, такими как точность и отзыв, в том, что на него не влияют относительные доли различных классов, т. Е. P ( x ). У него также есть уникальное свойство, заключающееся в том, что он не наказывает алгоритм за предсказание неправильных классов, если он делает это последовательно (т. Е. Просто переупорядочивает классы). Это полезно при оценке алгоритмов кластеризации, поскольку метки кластера обычно не имеют определенного порядка.

Вариации

Коэффициент неопределенности не является симметричным относительно роли X и Y . Роли можно поменять местами, и таким образом симметричный показатель определяется как средневзвешенное значение между ними:

${\ Displaystyle {\ begin {align} U (X, ~ Y) & = {\ frac {H (X) U (X | Y) + H (Y) U (Y | X)} ​​{H (X) + H (Y)}} \\ [8pt] & = 2 \ left [{\ frac {H (X) + H (Y) -H (X, ~ Y)} {H (X) + H (Y)}] } \ right]. \ end {выравнивается}}}$

Хотя обычно коэффициент неопределенности применяется к дискретным переменным, он может быть расширен до непрерывных переменных с использованием оценки плотности .

Смотрите также

• Взаимная информация
• Индекс Рэнда
• F-оценка
• Бинарная классификация

использованная литература

внешние ссылки

• libagf Включает программное обеспечение для расчета коэффициентов неопределенности.