Предельная плотность дискретных точек - Limiting density of discrete points

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

В теории информации , то предельная плотность дискретных точек является корректировка формулы Клода Шеннона для дифференциальной энтропии .

Он был сформулирован Эдвином Томпсоном Джейнсом для устранения недостатков в первоначальном определении дифференциальной энтропии.

Определение

Первоначально Шеннон записал следующую формулу для энтропии непрерывного распределения, известную как дифференциальная энтропия :

${\ Displaystyle h (X) = - \ int p (x) \ log p (x) \, dx.}$

Однако, в отличие от формулы Шеннона для дискретной энтропии, это не результат какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии на интеграл), но в нем отсутствуют многие свойства, которые делают дискретную энтропию полезной мерой неуверенность. В частности, он не инвариантен при замене переменных и может стать отрицательным. Кроме того, это даже неверно по размерам. Поскольку будет безразмерным, должен иметь единицы измерения , что означает, что аргумент логарифма не является безразмерным, как требуется. ${\ Displaystyle P (x)}$${\ displaystyle p (x)}$${\ displaystyle {\ frac {1} {dx}}}$

Джейнс утверждал, что формулу для непрерывной энтропии следует выводить, взяв предел все более плотных дискретных распределений. Предположим, что у нас есть набор дискретных точек , таких, что в пределе их плотность приближается к функции, называемой «инвариантной мерой». ${\ displaystyle N}$${\ displaystyle \ {x_ {i} \}}$${\ displaystyle N \ to \ infty}$${\ Displaystyle м (х)}$

${\ displaystyle \ lim _ {N \ to \ infty} {\ frac {1} {N}} \, ({\ mbox {количество точек в}} a <x <b) = \ int _ {a} ^ {b} m (x) \, dx}$

Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, как он утверждал, следует принимать как правильную:

${\ Displaystyle \ lim _ {N \ rightarrow \ infty} H_ {N} (X) = \ log (N) - \ int p (x) \ log {\ frac {p (x)} {m (x)} } \, dx.}$

Обычно, когда это написано, термин опускается, так как он обычно не является конечным. Итак, фактическое общее определение: ${\ Displaystyle \ журнал (N)}$

${\ Displaystyle H (X) = - \ int p (x) \ log {\ frac {p (x)} {m (x)}} \, dx.}$

Если неясно, следует ли опускать термин, можно написать ${\ Displaystyle \ журнал (N)}$

${\ Displaystyle H_ {N} (X) \ sim \ log (N) + H (X)}$

Обратите внимание, что в формуле Джейнса - это плотность вероятности. Для любого конечного, которое является равномерной плотностью по квантованию непрерывного пространства, которое используется в сумме Римана. В пределе - это непрерывная предельная плотность точек квантования, используемая для представления непрерывной переменной . ${\ Displaystyle м (х)}$${\ displaystyle N}$${\ Displaystyle м (х)}$${\ Displaystyle м (х)}$${\ displaystyle x}$

Предположим, у кого-то есть числовой формат, который принимает возможные значения, распределенные согласно . Тогда (если достаточно велико, чтобы непрерывное приближение действовало) дискретная энтропия переменной в этой кодировке. Это равно среднему количеству битов, необходимых для передачи этой информации, и не превышает . Следовательно, это можно рассматривать как количество информации, полученное, зная, что переменная следует распределению , а не равномерно распределена по возможным квантованным значениям, как это было бы в случае, если бы она следовала . на самом деле (отрицательное) расхождение Кульбака – Лейблера от до , которое считается информацией, полученной путем изучения того, что переменная, ранее считавшаяся распределенной, как на самом деле распределяется как . ${\ displaystyle N}$${\ Displaystyle м (х)}$${\ displaystyle H_ {N} (X)}$${\ displaystyle N}$${\ displaystyle x}$${\ Displaystyle \ журнал (N)}$${\ Displaystyle H (X)}$${\ displaystyle x}$${\ displaystyle p (x)}$${\ Displaystyle м (х)}$${\ Displaystyle H (X)}$${\ Displaystyle м (х)}$${\ displaystyle p (x)}$${\ Displaystyle м (х)}$${\ displaystyle p (x)}$

Формула непрерывной энтропии Джейнса обладает свойством быть инвариантной относительно замены переменных при условии, что и преобразуются таким же образом. (Это мотивирует название «инвариантная мера» для m .) Это решает многие трудности, возникающие при применении формулы непрерывной энтропии Шеннона. Сам Джейнс отказался от этого термина, поскольку он не имел отношения к его работе (максимальное распределение энтропии), и несколько неудобно иметь в расчетах бесконечный член. К сожалению, с этим ничего не поделать, если квантование выполняется произвольно точно, как это было бы в случае непрерывного предела. Обратите внимание, что, как здесь определено (без термина), всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным. ${\ Displaystyle м (х)}$${\ displaystyle p (x)}$${\ Displaystyle \ журнал (N)}$${\ Displaystyle H (X)}$${\ Displaystyle \ журнал (N)}$

Если это тот случай, который является постоянным на некотором интервале размера и по существу равен нулю за пределами этого интервала, то предельная плотность дискретных точек (LDDP) тесно связана с дифференциальной энтропией ${\ Displaystyle м (х)}$${\ displaystyle r}$${\ displaystyle p (x)}$${\ displaystyle h (X)}$

${\ Displaystyle H_ {N} (X) \ приблизительно \ log (N) - \ log (r) + H (X)}$

использованная литература

дальнейшее чтение

• Джейнс, ET (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN   978-0521592710 .