Неравенство энтропийной мощности - Entropy power inequality

В теории информации , то неравенство энтропии мощности ( EPI ) является результатом , который относится к так называемым «энтропии сила» случайных величин . Это показывает, что энтропийная мощность случайных величин с подходящим поведением является супераддитивной функцией . Неравенство мощности энтропии было доказано в 1948 году Клодом Шенноном в его основополагающей статье « Математическая теория коммуникации ». Шеннон также предоставил достаточное условие для выполнения равенства; Stam (1959) показал, что это условие действительно необходимо.

Формулировка неравенства

Для случайного вектора X : Q → R ^п с функцией плотности вероятности F : R ^п → R , то дифференциальная энтропия из X , обозначат ч ( Х ), определяются как

{\ displaystyle h (X) = - \ int _ {\ mathbb {R} ^ {n}} f (x) \ log f (x) \, dx}

а энтропийная степень X , обозначаемая N ( X ), определяется как

{\ displaystyle N (X) = {\ frac {1} {2 \ pi e}} e ^ {{\ frac {2} {n}} h (X)}.}

В частности, N ( X ) = | K | ^{1 / п} , когда Х является нормальным распределением с ковариационной матрицей K .

Пусть Х и Y быть независимыми случайными величинами с функциями плотности вероятности в л ^р пространство L ^р ( R ^п ) при некотором р > 1. Тогда

{\ Displaystyle N (X + Y) \ geq N (X) + N (Y). \,}

Более того, равенство выполняется тогда и только тогда, когда X и Y - многомерные нормальные случайные величины с пропорциональными ковариационными матрицами .

Languages

In other projects

Неравенство энтропийной мощности - Entropy power inequality

Формулировка неравенства

Смотрите также

Рекомендации