Аддитивный белый гауссовский шум - Additive white Gaussian noise

Аддитивный белый гауссов шум ( AWGN ) - это базовая модель шума, используемая в теории информации для имитации эффекта многих случайных процессов, происходящих в природе. Модификаторы обозначают конкретные характеристики:

Аддитивный, потому что он добавляется к любому шуму, который может быть характерен для информационной системы.
Уайт ссылается на идею, что он имеет равномерную мощность в полосе частот для информационной системы. Это аналогия белого цвета, который имеет равномерное излучение на всех частотах видимого спектра .
Гауссовский, потому что он имеет нормальное распределение во временной области со средним значением нуля во временной области.

Широкополосный шум возникает из многих естественных источников шума, таких как тепловые колебания атомов в проводниках (называемые тепловым шумом или шумом Джонсона – Найквиста ), дробовой шум , излучение черного тела от земли и других теплых объектов, а также от небесных источников. например, Солнце. Центральная предельная теорема о теории вероятности указывает на то, что суммирование многих случайных процессов будут иметь тенденцию к распределению называемый Gaussian или Normal.

АБГШ часто используется в качестве модели канала , в котором только нарушения в связи является линейным добавление широкополосном или белого шума с постоянной спектральной плотностью (выраженной в ватт на герц от пропускной способности ) и гауссовым распределением амплитуды. Модель не учитывает замирания , частотную избирательность, помехи , нелинейность или дисперсию . Тем не менее, он создает простые и понятные математические модели, которые полезны для понимания основного поведения системы до рассмотрения этих других явлений.

Канал AWGN является хорошей моделью для многих каналов спутниковой связи и связи в дальнем космосе. Это не лучшая модель для большинства наземных линий связи из-за многолучевого распространения, блокировки местности, помех и т. Д. Однако для моделирования наземного пути AWGN обычно используется для моделирования фонового шума исследуемого канала в дополнение к многолучевости, блокировке местности и т. Д. помехи, помехи от земли и собственные помехи, с которыми современные радиосистемы сталкиваются при наземной эксплуатации.

Емкость канала

Канал AWGN представлен серией выходов в дискретном временном индексе события . представляет собой сумму входного сигнала и шума, где является независимым и одинаково распределенным и полученным из нормального распределения с нулевым средним и дисперсией (шумом). Далее предполагается , что не могут быть коррелированы с . ${\ displaystyle Y_ {i}}$ ${\ displaystyle i}$ ${\ displaystyle Y_ {i}}$ ${\ displaystyle X_ {i}}$ ${\ displaystyle Z_ {i}}$ ${\ displaystyle Z_ {i}}$ ${\ displaystyle N}$ ${\ displaystyle Z_ {i}}$ ${\ displaystyle X_ {i}}$

{\ Displaystyle Z_ {я} \ sim {\ mathcal {N}} (0, N) \, \!}

{\ displaystyle Y_ {i} = X_ {i} + Z_ {i}. \, \!}

Пропускная способность канала бесконечна, если шум не равен нулю, и они не имеют достаточных ограничений. Наиболее распространенным ограничением на вход является так называемое ограничение «мощности», требующее, чтобы для кодового слова, передаваемого по каналу, мы имели: ${\ displaystyle N}$ ${\ displaystyle X_ {i}}$ ${\ displaystyle (x_ {1}, x_ {2}, \ dots, x_ {k})}$

{\ displaystyle {\ frac {1} {k}} \ sum _ {i = 1} ^ {k} x_ {i} ^ {2} \ leq P,}

где представляет собой максимальную мощность канала. Следовательно, пропускная способность канала с ограниченной мощностью определяется выражением: ${\ displaystyle P}$

{\ Displaystyle С = \ макс _ {е (х) {\ текст {st}} E \ left (X ^ {2} \ right) \ leq P} I (X; Y) \, \!}

Где раздача . Разложите , записав его через дифференциальную энтропию : ${\ displaystyle f (x)}$ ${\ displaystyle X}$ ${\ Displaystyle I (X; Y)}$

{\ Displaystyle {\ begin {align} I (X; Y) = h (Y) -h (Y | X) & = h (Y) -h (X + Z | X) & = h (Y) -h (Z | X) \ конец {выровнено}} \, \!}

Но и независимы, поэтому: ${\ displaystyle X}$ ${\ displaystyle Z}$

{\ Displaystyle I (X; Y) = час (Y) -h (Z) \, \!}

Оценка дифференциальной энтропии гауссиана дает:

{\ Displaystyle ч (Z) = {\ гидроразрыва {1} {2}} \ log (2 \ pi eN) \, \!}

Потому что и независимы и их сумма дает : ${\ displaystyle X}$ ${\ displaystyle Z}$ ${\ displaystyle Y}$

{\ Displaystyle E (Y ^ {2}) = E ((X + Z) ^ {2}) = E (X ^ {2}) + 2E (X) E (Z) + E (Z ^ {2} ) \ leq P + N \, \!}

Из этой оценки мы получаем из свойства дифференциальной энтропии, что

{\ Displaystyle ч (Y) \ leq {\ frac {1} {2}} \ log (2 \ pi e (P + N)) \, \!}

Таким образом, пропускная способность канала определяется максимально достижимой границей взаимной информации :

{\ displaystyle I (X; Y) \ leq {\ frac {1} {2}} \ log (2 \ pi e (P + N)) - {\ frac {1} {2}} \ log (2 \ пи eN) \, \!}

Где максимально, когда: ${\ Displaystyle I (X; Y)}$

{\ Displaystyle X \ sim {\ mathcal {N}} (0, P) \, \!}

Таким образом, пропускная способность канала AWGN определяется следующим образом: ${\ displaystyle C}$

{\ displaystyle C = {\ frac {1} {2}} \ log \ left (1 + {\ frac {P} {N}} \ right) \, \!}

Пропускная способность канала и упаковка сфер

Предположим, что мы отправляем сообщения через канал с индексом от до , количество различных возможных сообщений. Если мы кодируем сообщения в биты, мы определяем скорость как: ${\ displaystyle 1}$ ${\ displaystyle M}$ ${\ displaystyle M}$ ${\ displaystyle n}$ ${\ displaystyle R}$

{\ displaystyle R = {\ frac {\ log M} {n}} \, \!}

Скорость считается достижимой, если существует последовательность кодов, так что максимальная вероятность ошибки стремится к нулю по мере приближения к бесконечности. Емкость - это наивысшая достижимая скорость. ${\ displaystyle n}$ ${\ displaystyle C}$

Рассмотрим кодовое слово длины, отправленное по каналу AWGN с уровнем шума . При получении теперь отклонение вектора кодового слова равно , а его среднее значение является отправленным кодовым словом. Вектор, скорее всего, будет находиться в сфере радиуса вокруг отправленного кодового слова. Если мы декодируем, отображая каждое полученное сообщение на кодовое слово в центре этой сферы, то ошибка возникает только тогда, когда полученный вектор находится за пределами этой сферы, что очень маловероятно. ${\ displaystyle n}$ ${\ displaystyle N}$ ${\ displaystyle N}$ ${\ displaystyle {\ sqrt {n (N + \ epsilon)}}}$

С каждым вектором кодового слова связана сфера принятых векторов кодовых слов, которые декодируются в него, и каждая такая сфера должна однозначно отображаться на кодовое слово. Поскольку эти сферы не должны пересекаться, мы сталкиваемся с проблемой упаковки сфер . Сколько различных кодовых слов мы можем упаковать в наш -битовый вектор кодовых слов? Полученные векторы имеют максимальную энергию и поэтому должны занимать сферу радиуса . Каждая сфера кодового слова имеет радиус . Объем n- мерной сферы прямо пропорционален , поэтому максимальное количество однозначно декодируемых сфер, которые могут быть упакованы в нашу сферу с мощностью передачи P, равно: ${\ displaystyle n}$ ${\ Displaystyle п (П + Н)}$ ${\ displaystyle {\ sqrt {n (P + N)}}}$ ${\ displaystyle {\ sqrt {nN}}}$ ${\ Displaystyle г ^ {п}}$

{\ displaystyle {\ frac {(n (P + N)) ^ {\ frac {n} {2}}} {(nN) ^ {\ frac {n} {2}}}} = 2 ^ {{\ гидроразрыв {п} {2}} \ log (1 + P / N)} \, \!}

По этому аргументу коэффициент R не может быть больше чем . ${\ displaystyle {\ frac {1} {2}} \ log (1 + P / N)}$

Достижимость

В этом разделе мы показываем достижимость верхней границы ставки из последнего раздела.

Кодовая книга, известная как кодировщику, так и декодеру, генерируется путем выбора кодовых слов длины n, iid Gaussian с дисперсией и нулевым средним. Для большого n эмпирическая дисперсия кодовой книги будет очень близка к дисперсии ее распределения, что позволяет избежать нарушения ограничения мощности вероятностным образом. ${\ displaystyle P- \ epsilon}$

Принятые сообщения декодируются в сообщение в кодовой книге, которое является уникальным совместно типичным. Если такого сообщения нет или если ограничение мощности нарушено, объявляется ошибка декодирования.

Пусть обозначает кодовое слово для сообщения , а есть, как и прежде полученного вектора. Определите следующие три события: ${\ Displaystyle X ^ {п} (я)}$ ${\ displaystyle i}$ ${\ displaystyle Y ^ {n}}$

Событие : мощность полученного сообщения больше, чем . ${\ displaystyle U}$ ${\ displaystyle P}$
Событие : переданные и полученные кодовые слова не являются типичными вместе. ${\ displaystyle V}$
Событие : в , в типичном наборе , где , который должен сказать , что неправильное кодовое слово является совместно типичным с полученным вектором. ${\ displaystyle E_ {j}}$ ${\ displaystyle (X ^ {n} (j), Y ^ {n})}$ ${\ Displaystyle А _ {\ epsilon} ^ {(п)}}$ ${\ displaystyle i \ neq j}$

Поэтому ошибка возникает , если , или какой - либо из произойти. По закону больших чисел стремится к нулю, когда n приближается к бесконечности, и по совместному свойству асимптотической равнораспределенности то же самое относится и к . Следовательно, для достаточно большого оба значения и меньше, чем . Поскольку и независимы для , у нас это есть, и мы также независимы. Поэтому совместный АЭП, . Это позволяет нам рассчитать вероятность ошибки следующим образом: ${\ displaystyle U}$ ${\ displaystyle V}$ ${\ displaystyle E_ {i}}$ ${\ Displaystyle P (U)}$ ${\ Displaystyle P (V)}$ ${\ displaystyle n}$ ${\ Displaystyle P (U)}$ ${\ Displaystyle P (V)}$ ${\ displaystyle \ epsilon}$ ${\ Displaystyle X ^ {п} (я)}$ ${\ displaystyle X ^ {n} (j)}$ ${\ displaystyle i \ neq j}$ ${\ Displaystyle X ^ {п} (я)}$ ${\ displaystyle Y ^ {n}}$ ${\ Displaystyle P (E_ {j}) = 2 ^ {- n (I (X; Y) -3 \ epsilon)}}$ ${\ displaystyle P_ {e} ^ {(n)}}$

{\ Displaystyle {\ begin {align} P_ {e} ^ {(n)} & \ leq P (U) + P (V) + \ sum _ {j \ neq i} P (E_ {j}) \\ & \ leq \ epsilon + \ epsilon + \ sum _ {j \ neq i} 2 ^ {- n (I (X; Y) -3 \ epsilon)} \\ & \ leq 2 \ epsilon + (2 ^ {nR } -1) 2 ^ {- n (I (X; Y) -3 \ epsilon)} \\ & \ leq 2 \ epsilon + (2 ^ {3n \ epsilon}) 2 ^ {- n (I (X; Y) -R)} \\ & \ leq 3 \ epsilon \ end {выровнено}}}

Следовательно, когда n приближается к бесконечности, стремится к нулю и . Следовательно, существует код скорости R, произвольно близкий к мощности, полученной ранее. ${\ displaystyle P_ {e} ^ {(n)}}$ ${\ Displaystyle R <I (X; Y) -3 \ epsilon}$

Теорема кодирования обратная

Здесь мы показываем, что ставки выше мощности недостижимы. ${\ displaystyle C = {\ frac {1} {2}} \ log (1 + {\ frac {P} {N}})}$

Предположим, что ограничение мощности удовлетворено для кодовой книги, и дополнительно предположим, что сообщения следуют равномерному распределению. Позвольте быть входными сообщениями и выходными сообщениями. Таким образом, информация течет как: ${\ displaystyle W}$ ${\ displaystyle {\ hat {W}}}$

${\ displaystyle W \ longrightarrow X ^ {(n)} (W) \ longrightarrow Y ^ {(n)} \ longrightarrow {\ hat {W}}}$

Использование неравенства Фано дает:

${\ displaystyle H (W | {\ hat {W}}) \ leq 1 + nRP_ {e} ^ {(n)} = n \ epsilon _ {n}}$ где как ${\ displaystyle \ epsilon _ {n} \ rightarrow 0}$ ${\ displaystyle P_ {e} ^ {(n)} \ rightarrow 0}$

Позвольте быть закодированным сообщением индекса кодового слова i. Потом: ${\ displaystyle X_ {i}}$

{\ Displaystyle {\ begin {align} nR & = H (W) \\ & = I (W; {\ hat {W}}) + H (W | {\ hat {W}}) \\ & \ leq I (W; {\ hat {W}}) + n \ epsilon _ {n} \\ & \ leq I (X ^ {(n)}; Y ^ {(n)}) + n \ epsilon _ {n} \\ & = h (Y ^ {(n)}) - h (Y ^ {(n)} | X ^ {(n)}) + n \ epsilon _ {n} \\ & = h (Y ^ { (n)}) - h (Z ^ {(n)}) + n \ epsilon _ {n} \\ & \ leq \ sum _ {i = 1} ^ {n} h (Y_ {i}) - h (Z ^ {(n)}) + n \ epsilon _ {n} \\ & \ leq \ sum _ {i = 1} ^ {n} I (X_ {i}; Y_ {i}) + n \ epsilon _ {п} \ конец {выровнено}}}

Пусть будет средняя мощность кодового слова индекса i: ${\ displaystyle P_ {i}}$

{\ displaystyle P_ {i} = {\ frac {1} {2 ^ {nR}}} \ sum _ {w} x_ {i} ^ {2} (w) \, \!}

Где сумма по всем входным сообщениям . и независимы, поэтому ожидаемая мощность составляет для уровня шума : ${\ displaystyle w}$ ${\ displaystyle X_ {i}}$ ${\ displaystyle Z_ {i}}$ ${\ displaystyle Y_ {i}}$ ${\ displaystyle N}$

{\ Displaystyle E (Y_ {i} ^ {2}) = P_ {i} + N \, \!}

И при нормальном распределении у нас есть ${\ displaystyle Y_ {i}}$

{\ displaystyle h (Y_ {i}) \ leq {\ frac {1} {2}} \ log {2 \ pi e} (P_ {i} + N) \, \!}

Следовательно,

{\ displaystyle {\ begin {align} nR & \ leq \ sum (h (Y_ {i}) - h (Z_ {i})) + n \ epsilon _ {n} \\ & \ leq \ sum \ left ({ \ frac {1} {2}} \ log (2 \ pi e (P_ {i} + N)) - {\ frac {1} {2}} \ log (2 \ pi eN) \ right) + n \ epsilon _ {n} \\ & = \ sum {\ frac {1} {2}} \ log (1 + {\ frac {P_ {i}} {N}}) + n \ epsilon _ {n} \ end {выровнено}}}

Мы можем применить равенство Дженсена к вогнутой (нисходящей) функции x , чтобы получить: ${\ Displaystyle \ журнал (1 + х)}$

{\ displaystyle {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} {\ frac {1} {2}} \ log \ left (1 + {\ frac {P_ {i}) } {N}} \ right) \ leq {\ frac {1} {2}} \ log \ left (1 + {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} { \ frac {P_ {i}} {N}} \ right) \, \!}

Поскольку каждое кодовое слово индивидуально удовлетворяет ограничению мощности, среднее значение также удовлетворяет ограничению мощности. Следовательно,

{\ displaystyle {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} {\ frac {P_ {i}} {N}} \, \!}

Мы можем применить это, чтобы упростить неравенство выше и получить:

{\ displaystyle {\ frac {1} {2}} \ log \ left (1 + {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} {\ frac {P_ {i}) } {N}} \ right) \ leq {\ frac {1} {2}} \ log \ left (1 + {\ frac {P} {N}} \ right) \, \!}

Следовательно, так и должно быть . Следовательно, R должно быть меньше значения, произвольно близкого к мощности, полученной ранее, как . ${\ displaystyle R \ leq {\ frac {1} {2}} \ log \ left (1 + {\ frac {P} {N}} \ right) + \ epsilon _ {n}}$ ${\ displaystyle \ epsilon _ {n} \ rightarrow 0}$

Эффекты во временной области

Нулевые переходы зашумленного косинуса

При последовательной передаче данных математическая модель AWGN используется для моделирования ошибки синхронизации, вызванной случайным джиттером (RJ).

На графике справа показан пример временных ошибок, связанных с AWGN. Переменная Δ t представляет собой неопределенность перехода через нуль. По мере увеличения амплитуды AWGN отношение сигнал / шум уменьшается. Это приводит к увеличению неопределенности Δ t .

При воздействии AWGN среднее количество переходов через ноль в положительном или отрицательном направлении в секунду на выходе узкополосного фильтра, когда на входе является синусоидальная волна, составляет

{\ displaystyle {\ frac {\ text {положительные пересечения нуля}} {\ text {second}}} = {\ frac {\ text {отрицательные пересечения нуля}} {\ text {second}}}}

{\ displaystyle \ quad = f_ {0} {\ sqrt {\ frac {{\ text {SNR}} + 1 + {\ frac {B ^ {2}} {12f_ {0} ^ {2}}}} { {\ text {SNR}} + 1}}},}

куда

f ₀ = центральная частота фильтра,

B = ширина полосы фильтра,

SNR = отношение мощности сигнал / шум в линейном выражении.

Эффекты в векторной области

Вклады AWGN в векторную область

В современных системах связи нельзя игнорировать AWGN с ограниченным диапазоном частот. При моделировании AWGN с ограниченной полосой частот в векторной области статистический анализ показывает, что амплитуды действительных и мнимых вкладов являются независимыми переменными, которые следуют модели распределения Гаусса . В сочетании, величина результирующего фазора является случайной величиной с распределением Рэлея , а фаза равномерно распределена от 0 до 2π.

График справа показывает пример того, как AWGN с ограниченной полосой частот может влиять на сигнал когерентной несущей. Мгновенный отклик вектора шума невозможно точно предсказать, однако его усредненный по времени отклик можно предсказать статистически. Как показано на графике, мы уверенно прогнозируем, что вектор шума будет находиться примерно 38% времени внутри круга 1σ, примерно 86% времени внутри круга 2σ и примерно 98% времени внутри круга 3σ.

Languages

In other projects