Перекрестная энтропия - Cross entropy

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек Теория информации с конечной длиной блока
Асимптотическое свойство равнораспределения Теория скорости-искажения
Теорема кодирования источника Шеннона Емкость канала Теорема кодирования с шумом канала Теорема Шеннона – Хартли.
v т е

В теории информации , то кросс-энтропия между двумя вероятностными распределениями и за тот же основной набор события измеряют среднее число бит , необходимой для идентификации события извлекаемого из набора , если схема кодирования используется для набора оптимизирована для ориентировочного распределения вероятностей , а не истинное распределение . ${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle q}$${\ displaystyle p}$

Определение

Кросс-энтропия распределения относительно распределения по заданному набору определяется следующим образом: ${\ displaystyle q}$${\ displaystyle p}$

${\ displaystyle H (p, q) = - \ operatorname {E} _ {p} [\ log q]}$,

где - оператор математического ожидания относительно распределения . ${\ Displaystyle E_ {p} [\ cdot]}$${\ displaystyle p}$

Определение может быть сформулировано с использованием дивергенции Кульбака – Лейблера , отклонения от (также известного как относительная энтропия по отношению к ). ${\ Displaystyle D _ {\ mathrm {KL}} (п \ | q)}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle q}$

${\ Displaystyle Н (п, д) = Н (п) + D _ {\ mathrm {KL}} (п \ | д)}$,

где это энтропия в . ${\ displaystyle H (p)}$${\ displaystyle p}$

Для дискретных распределений вероятностей и с той же опорой это означает ${\ displaystyle p}$${\ displaystyle q}$ ${\ Displaystyle {\ mathcal {X}}}$

Аналогичная ситуация и для непрерывных распределений. Мы должны предполагать, что и являются абсолютно непрерывными относительно некоторой эталонной меры (обычно это мера Лебега на борелевской σ-алгебре ). Позвольте и быть функциями плотности вероятности от и по отношению к . потом ${\ displaystyle p}$${\ displaystyle q}$ ${\ displaystyle r}$${\ displaystyle r}$ ${\ displaystyle P}$${\ displaystyle Q}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle r}$

${\ displaystyle - \ int _ {\ mathcal {X}} P (x) \, \ log Q (x) \, dr (x) = \ operatorname {E} _ {p} [- \ log Q]}$

и поэтому

Примечание: Обозначение также используется для другой концепции, в совместной энтропии из и . ${\ Displaystyle Н (п, д)}$${\ displaystyle p}$${\ displaystyle q}$

Мотивация

В теории информации , то крафт-McMillan теорема устанавливает , что любые непосредственно декодируемые схемы кодирования для кодирования сообщения , чтобы определить одно значение из множества возможностей можно рассматривать как представляющие неявное распределение вероятностей над , где длиной коды для в биты. Следовательно, перекрестную энтропию можно интерпретировать как ожидаемую длину сообщения на данные, когда предполагается неправильное распределение, в то время как данные фактически следуют за распределением . Вот почему математическое ожидание берется из истинного распределения вероятностей, а не . Действительно, ожидаемая длина сообщения при истинном распределении равна, ${\ displaystyle x_ {i}}$${\ Displaystyle \ {х_ {1}, ..., х_ {п} \}}$${\ displaystyle q (x_ {i}) = \ left ({\ frac {1} {2}} \ right) ^ {l_ {i}}}$${\ Displaystyle \ {х_ {1}, ..., х_ {п} \}}$${\ displaystyle l_ {i}}$${\ displaystyle x_ {i}}$${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle p}$

${\ displaystyle \ operatorname {E} _ {p} [l] = - \ operatorname {E} _ {p} \ left [{\ frac {\ ln {q (x)}} {\ ln (2)}} \ right] = - \ operatorname {E} _ {p} \ left [\ log _ {2} {q (x)} \ right] = - \ sum _ {x_ {i}} p (x_ {i}) \, \ log _ {2} {q (x_ {i})} = - \ sum _ {x} p (x) \, \ log _ {2} q (x) = H (p, q)}$

Предварительный расчет

Есть много ситуаций, когда необходимо измерить кросс-энтропию, но распределение неизвестно. Примером является языковое моделирование , когда модель создается на основе обучающего набора , а затем ее перекрестная энтропия измеряется на тестовом наборе, чтобы оценить, насколько точна модель в прогнозировании тестовых данных. В этом примере это истинное распределение слов в любом корпусе и распределение слов, предсказанное моделью. Поскольку истинное распределение неизвестно, кросс-энтропию нельзя вычислить напрямую. В этих случаях оценка кросс-энтропии рассчитывается по следующей формуле: ${\ displaystyle p}$${\ displaystyle T}$${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle H (T, q) = - \ sum _ {i = 1} ^ {N} {\ frac {1} {N}} \ log _ {2} q (x_ {i})}$

где - размер тестового набора, а - вероятность события, оцененная на основе обучающего набора. Другими словами, это оценка вероятности модели, что i-е слово текста . Сумма усредняется по словам теста. Это оценка истинной кросс-энтропии методом Монте-Карло , где тестовый набор рассматривается как выборка из . ${\ displaystyle N}$${\ Displaystyle д (х)}$${\ displaystyle x}$${\ displaystyle q (x_ {i})}$${\ displaystyle x_ {i}}$${\ displaystyle N}$${\ displaystyle p (x)}$

Отношение к логарифмической вероятности

В задачах классификации мы хотим оценить вероятность различных исходов. Пусть оценочная вероятность результата будет с параметрами, которые должны быть оптимизированы, и пусть частота (эмпирическая вероятность) результата в обучающем наборе будет . Учитывая N условно независимых выборок в обучающем наборе, вероятность параметров модели на обучающем наборе равна ${\ displaystyle i}$${\ Displaystyle д _ {\ тета} (Х = я)}$${\ displaystyle \ theta}$${\ displaystyle i}$${\ Displaystyle р (Х = я)}$${\ displaystyle \ theta}$${\ Displaystyle д _ {\ тета} (Х = х)}$

${\ displaystyle {\ mathcal {L}} (\ theta) = \ prod _ {i \ in X} ({\ mbox {эст. вероятность}} i) ^ {{\ mbox {количество вхождений}} i } = \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)}}$

так что логарифм правдоподобия, деленный на, равен ${\ displaystyle N}$

${\ displaystyle {\ frac {1} {N}} \ log ({\ mathcal {L}} (\ theta)) = {\ frac {1} {N}} \ log \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)} = \ sum _ {i} p (X = i) \ log q _ {\ theta} (X = i) = - H (p, q)}$

так что максимизация правдоподобия относительно параметров - это то же самое, что минимизация перекрестной энтропии. ${\ displaystyle \ theta}$

Минимизация кросс-энтропии

Минимизация кросс-энтропии часто используется при оптимизации и оценке вероятности редких событий. При сравнении распределения с фиксированным эталонным распределением кросс-энтропия и дивергенция KL идентичны с точностью до аддитивной константы (поскольку фиксировано): оба принимают свои минимальные значения, когда , то есть для дивергенции KL, и для кросс-энтропии. В технической литературе принцип минимизации расхождения KL (« Принцип минимальной информации о различении» Кульбака ) часто называют принципом минимальной кросс-энтропии (MCE) или Minxent . ${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle p}$${\ displaystyle p = q}$${\ displaystyle 0}$${\ displaystyle \ mathrm {H} (p)}$

Однако, как обсуждалось в статье о расхождении Кульбака – Лейблера , иногда распределение является фиксированным априорным эталонным распределением, и распределение оптимизируется, чтобы быть как можно более близким к такому, с учетом некоторых ограничений. В этом случае две минимизации не эквивалентны. Это привело к некоторой двусмысленности в литературе, причем некоторые авторы пытались разрешить несогласованность путем переопределения кросс-энтропии как «быть , а не» . ${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle q}$${\ Displaystyle D _ {\ mathrm {KL}} (п \ | q)}$${\ Displaystyle Н (п, д)}$

Функция кросс-энтропийных потерь и логистическая регрессия

Кросс-энтропия может использоваться для определения функции потерь в машинном обучении и оптимизации . Истинная вероятность - это истинная метка, а данное распределение - это прогнозируемое значение текущей модели. ${\ displaystyle p_ {i}}$${\ displaystyle q_ {i}}$

В частности, рассмотрите логистическую регрессию , которая (среди прочего) может использоваться для классификации наблюдений на два возможных класса (часто просто помеченных и ). Выходные данные модели для данного наблюдения с учетом вектора входных характеристик можно интерпретировать как вероятность, которая служит основой для классификации наблюдения. Вероятность моделируется с помощью логистической функции, где - некоторая функция входного вектора , обычно просто линейная функция. Вероятность выхода определяется как ${\ displaystyle 0}$${\ displaystyle 1}$${\ displaystyle x}$ ${\ Displaystyle г (г) = 1 / (1 + е ^ {- z})}$${\ displaystyle z}$${\ displaystyle x}$${\ displaystyle y = 1}$

${\ Displaystyle q_ {Y = 1} \ = \ {\ hat {y}} \ \ Equiv \ g (\ mathbf {w} \ cdot \ mathbf {x}) \ = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x}}),}$

где вектор весов оптимизируется с помощью некоторого подходящего алгоритма, такого как градиентный спуск . Точно так же дополнительная вероятность обнаружения выходных данных просто дается выражением ${\ displaystyle \ mathbf {w}}$${\ displaystyle y = 0}$

${\ displaystyle q_ {y = 0} \ = \ 1 - {\ hat {y}}}$

Установив нашу нотацию и , мы можем использовать кросс-энтропию, чтобы получить меру несходства между и : ${\ displaystyle p \ in \ {y, 1-y \}}$${\ displaystyle q \ in \ {{\ hat {y}}, 1 - {\ hat {y}} \}}$${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle H (p, q) \ = \ - \ sum _ {i} p_ {i} \ log q_ {i} \ = \ -y \ log {\ hat {y}} - (1-y) \ журнал (1 - {\ hat {y}})}$

Логистическая регрессия обычно оптимизирует потери журнала для всех наблюдений, на которых она обучается, что аналогично оптимизации средней перекрестной энтропии в выборке. Например, предположим, что у нас есть выборки, каждая из которых проиндексирована . Среднее функции потерь затем определяются по формуле: ${\ displaystyle N}$${\ Displaystyle п = 1, \ точки, N}$

${\ displaystyle {\ begin {align} J (\ mathbf {w}) \ & = \ {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} H (p_ {n}, q_ {n}) \ = \ - {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} \ {\ bigg [} y_ {n} \ log {\ hat {y}} _ {n} + (1-y_ {n}) \ log (1 - {\ hat {y}} _ {n}) {\ bigg]} \ ,, \ end {выровнено}}}$

где с логистической функцией, как и раньше. ${\ displaystyle {\ hat {y}} _ {n} \ Equiv g (\ mathbf {w} \ cdot \ mathbf {x} _ {n}) = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x} _ {n}})}$${\ displaystyle g (z)}$

Логистические потери иногда называют кросс-энтропийными потерями. Это также известно как потеря журнала (в этом случае двоичная метка часто обозначается {-1, + 1}).

Примечание . Градиент потери кросс-энтропии для логистической регрессии такой же, как градиент квадрата потери ошибки для линейной регрессии . То есть определить

${\ displaystyle X ^ {T} = {\ begin {pmatrix} 1 & x_ {11} & \ dots & x_ {1p} \\ 1 & x_ {21} & \ dots & x_ {2p} \\ && \ dots \\ 1 & x_ {n1} & \ точки & x_ {np} \\\ конец {pmatrix}} \ in \ mathbb {R} ^ {n \ times (p + 1)}}$

${\ displaystyle {\ hat {y_ {i}}} = {\ hat {f}} (x_ {i1}, \ dots, x_ {ip}) = {\ frac {1} {1 + exp (- \ beta _ {0} - \ beta _ {1} x_ {i1} - \ dots - \ beta _ {p} x_ {ip})}}}$

${\ displaystyle L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} [y ^ {i} \ log {\ hat {y}} ^ {i} + (1 -y ^ {i}) \ log (1 - {\ hat {y}} ^ {i})]}$

Тогда у нас есть результат

${\ displaystyle {\ frac {\ partial} {\ partial {\ overrightarrow {\ beta}}}} L ({\ overrightarrow {\ beta}}) = X ({\ hat {Y}} - Y)}$

Доказательство таково. Для любого у нас есть ${\ displaystyle {\ hat {y}} ^ {i}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {0}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} = {\ frac {e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {0}}} \ ln \ left (1 - {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} \ right) = {\ frac {-1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ displaystyle {\ begin {align} {\ frac {\ partial} {\ partial \ beta _ {0}}} L ({\ overrightarrow {\ beta}}) & = - \ sum _ {i = 1} ^ {N} \ left [{\ frac {y ^ {i} \ cdot e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} - (1-y ^ {i}) {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} \ right] \\ & = - \ sum _ {i = 1} ^ {N} [y ^ {i} - {\ hat {y}} ^ {i}] = \ sum _ {i = 1} ^ {N} ({\ hat {y }} ^ {я} -у ^ {я}) \ конец {выровнено}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1} + k_ {1 }}}} = {\ frac {x_ {i1} e ^ {k_ {1}}} {e ^ {\ beta _ {1} x_ {i1}} + e ^ {k_ {1}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} \ ln \ left [1 - {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1 } + k_ {1}}}} \ right] = {\ frac {-x_ {i1} e ^ {\ beta _ {1} x_ {i1}}} {e ^ {\ beta _ {1} x_ {i1 }} + e ^ {k_ {1}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} x_ {i1} (y ^ {i} - {\ hat {y}} ^ {i}) = \ sum _ {i = 1} ^ {N} x_ {i1} ({\ hat {y}} ^ {i} -y ^ {i})}$

Аналогичным образом в итоге получаем желаемый результат.

Смотрите также

• Кросс-энтропийный метод
• Логистическая регрессия
• Условная энтропия
• Оценка максимального правдоподобия
• Взаимная информация

использованная литература

внешние ссылки

• Перекрестная энтропия