Энтропия Реньи - Rényi entropy

В теории информации , то энтропия Реньи обобщает энтропию Хартли , то энтропия Шеннона , то столкновение энтропии и мин-энтропии . Энтропии количественно определяют разнообразие, неопределенность или случайность системы. Энтропия названа в честь Альфреда Реньи . В контексте оценки фрактальной размерности энтропия Реньи составляет основу концепции обобщенных размерностей .

Энтропия Реньи важна в экологии и статистике как показатель разнообразия . Энтропия Реньи также важна для квантовой информации , где ее можно использовать как меру запутанности . В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция от α может быть вычислена явно в силу того факта, что она является автоморфной функцией по отношению к определенной подгруппе модулярной группы . В теоретической информатике мин-энтропия используется в контексте экстракторов случайности .

Определение

Энтропия Реньи порядка , где и , определяется как

.

Здесь - дискретная случайная величина с возможными исходами в наборе и соответствующими вероятностями для . Логарифм обычно берется по основанию 2, особенно в контексте теории информации , где биты используются. Если вероятности для всех , то всего Рения энтропия распределения равна: . В общем, для всех дискретных случайных величин , не является возрастающей функцией в .

Приложения часто используют следующую связь между энтропией Реньи и p- нормой вектора вероятностей:

.

Здесь дискретное распределение вероятностей интерпретируется как вектор с и .

Энтропия Реньи для любого - вогнутая по Шуру .

Особые случаи

Энтропия Реньи случайной величины с двумя возможными исходами относительно p 1 , где P = ( p 1 , 1 - p 1 ) . Показаны H 0 , H 1 , H 2 и H в единицах измерения шеннонов .

По мере того, как α приближается к нулю, энтропия Реньи все больше взвешивает все события с ненулевой вероятностью, независимо от их вероятностей. В пределе для альфа → 0, энтропия Рения просто логарифм величины поддержки X . Предел при α → 1 - энтропия Шеннона . По мере приближения α к бесконечности энтропия Реньи все больше определяется событиями с наибольшей вероятностью.

Хартли или макс-энтропия

При условии , что вероятности не равны нулю, это логарифм мощности алфавита ( ) из , иногда называют Хартли энтропии из ,

Энтропия Шеннона

Предельное значение , как & alpha ; → 1 является энтропия Шеннона :

Энтропия столкновений

Энтропия столкновений , которую иногда называют просто энтропией Реньи, относится к случаю α = 2,

где X и Y являются независимыми и одинаково распределенными . Энтропия столкновений связана с индексом совпадения .

Мин-энтропия

В пределе as энтропия Реньи сходится к мин-энтропии :

Эквивалентно минимальная энтропия - это наибольшее действительное число b, такое, что все события происходят с максимальной вероятностью .

Название мин-энтропия происходит от того факта, что это наименьшая мера энтропии в семействе энтропий Реньи. В этом смысле это самый надежный способ измерения информационного содержания дискретной случайной величины. В частности, минимальная энтропия никогда не превышает энтропию Шеннона .

Мин-энтропия имеет важные приложения для экстракторов случайности в теоретической информатике : экстракторы могут извлекать случайность из случайных источников, которые имеют большую минимальную энтропию; просто наличия большой энтропии Шеннона для этой задачи недостаточно.

Неравенства между разными значениями α

Это не увеличивается для любого заданного распределения вероятностей , что может быть доказано дифференцированием, как

который пропорционален расхождению Кульбака – Лейблера (которое всегда неотрицательно), где .

В частных случаях неравенства можно доказать также неравенством Йенсена :

Для значений также имеют место неравенства в обратном направлении. В частности, у нас есть

С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины , имеющей заданную минимальную энтропию.

Расхождение Реньи

Помимо абсолютных энтропий Реньи, Реньи также определил спектр мер дивергенции, обобщающих дивергенцию Кульбака – Лейблера .

Рение расхождение порядка альфа или альфа-дивергенция распределительной Р от распределения Q определяются как

когда 0 < α <∞ и α ≠ 1 . Мы можем определить расходимость Реньи для специальных значений α = 0, 1, ∞ , взяв предел, и, в частности, предел α → 1 дает расходимость Кульбака – Лейблера.

Некоторые особые случаи:

 : минус логарифмическая вероятность при Q того, что p i > 0 ;
 : минус удвоенный логарифм коэффициента Бхаттачарьи ; ( Нильсен и Больц (2010) )
 : расхождение Кульбака – Лейблера ;
 : журнал ожидаемого отношения вероятностей;
 : логарифм максимального отношения вероятностей.

Расхождение Реньи действительно расхождение , а это означает , что просто больше или равна нулю, а нуль только тогда , когда Р = Q . Для любых фиксированных распределений P и Q дивергенция Реньи не убывает как функция своего порядка α и непрерывна на множестве α, для которых она конечна.

Финансовая интерпретация

Пару вероятностных распределений можно рассматривать как азартную игру, в которой одно из распределений определяет официальные шансы, а другое содержит фактические вероятности. Знание реальных вероятностей позволяет игроку получать прибыль от игры. Ожидаемая норма прибыли связана с дивергенцией Реньи следующим образом.

где - распределение, определяющее официальные шансы (т. е. «рынок») для игры, - это распределение, рассчитываемое инвесторами, и - это отношение инвестора к избеганию риска (относительное неприятие риска Эрроу-Пратта).

Если истинное распределение (не обязательно совпадает с мнением инвестора ), долгосрочная ставка реализации сходится к истинному ожиданию, которое имеет аналогичную математическую структуру.

Почему α = 1 особенный

Значение α = 1 , что дает энтропию Шеннона и расхождение Кульбак-Либлер , является особенным , потому что это только при α = 1 , что цепное правило условной вероятности имеет место именно:

для абсолютных энтропий и

для относительных энтропий.

Последнее, в частности, означает, что если мы ищем распределение p ( x , a ), которое минимизирует отклонение от некоторой основной предшествующей меры m ( x , a ) , и мы получаем новую информацию, которая влияет только на распределение a , то распределение p ( x | a ) остается m ( x | a ) без изменений.

Остальные расхождения Реньи удовлетворяют критериям положительности и непрерывности; быть инвариантным относительно преобразований координат один к одному; и аддитивного комбинирования, когда A и X независимы, так что если p ( A , X ) = p ( A ) p ( X ) , то

а также

Более сильные свойства величин α = 1 , которые позволяют определять условную информацию и взаимную информацию из теории коммуникации, могут быть очень важны в других приложениях или совсем не важны, в зависимости от требований этих приложений.

Экспоненциальные семьи

Энтропии и расходимости Реньи для экспоненциального семейства допускают простые выражения

а также

куда

- это разностное расхождение Дженсена.

Физический смысл

Энтропия Реньи в квантовой физике не считается наблюдаемой из-за ее нелинейной зависимости от матрицы плотности. (Эта нелинейная зависимость применима даже в частном случае энтропии Шеннона.) Тем не менее, ей можно придать рабочий смысл посредством двукратных измерений (также известных как статистика полного счета) передачи энергии.

Предел энтропии Реньи как это фон Неймана энтропии .

Смотрите также

Примечания

использованная литература