Теорема Шеннона – Хартли - Shannon–Hartley theorem

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек Теория информации с конечной длиной блока
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема кодирования источника Шеннона Емкость канала Теорема кодирования с шумом канала Теорема Шеннона – Хартли.
v т е

В теории информации , то Шеннона-Хартли теорема указывает скорость максимальной , при которой информация может быть передана по каналу связи с заданной пропускной способностью в присутствии шума . Это приложение теоремы кодирования канала с шумом к типичному случаю аналогового канала связи с непрерывным временем, подверженного гауссовскому шуму . Теорема устанавливает пропускную способность канала Шеннона для такого канала связи, ограничение на максимальное количество безошибочной информации за единицу времени, которое может быть передано с заданной полосой пропускания в присутствии шумовых помех, при условии, что мощность сигнала ограничена, и что процесс гауссовского шума характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли .

Формулировка теоремы

Теорема Шеннона-Хартли устанавливает пропускную способность канала , означающую теоретически наиболее жесткую верхнюю границу скорости передачи данных, которые могут быть переданы с произвольно низкой частотой ошибок, используя среднюю мощность принятого сигнала через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму ( AWGN) мощности : ${\ displaystyle C}$${\ displaystyle S}$${\ displaystyle N}$

куда

• ${\ displaystyle C}$- пропускная способность канала в битах в секунду , теоретическая верхняя граница чистой скорости передачи данных (скорость передачи информации, иногда обозначаемая ), исключая коды с исправлением ошибок;${\ displaystyle I}$
• ${\ displaystyle B}$- полоса пропускания канала в герцах ( ширина полосы пропускания в случае полосового сигнала);
• ${\ displaystyle S}$- средняя мощность принятого сигнала по полосе пропускания (в случае передачи с модулированной несущей с полосой пропускания, часто обозначаемой C ), измеренная в ваттах (или в вольтах в квадрате);
• ${\ displaystyle N}$- средняя мощность шума и помех в полосе пропускания, измеренная в ваттах (или в вольтах в квадрате); а также
• ${\ Displaystyle S / N}$- это отношение сигнал / шум (SNR) или отношение несущей к шуму (CNR) сигнала связи к шуму и помехам на приемнике (выраженное как линейное отношение мощностей, а не как логарифмические децибелы ).

Историческое развитие

В конце 1920-х годов Гарри Найквист и Ральф Хартли разработали несколько фундаментальных идей, связанных с передачей информации, особенно в контексте телеграфа как системы связи. В то время эти концепции были мощными прорывами по отдельности, но они не были частью всеобъемлющей теории. В 1940-х годах Клод Шеннон разработал концепцию пропускной способности канала, частично основанную на идеях Найквиста и Хартли, а затем сформулировал полную теорию информации и ее передачи.

Ставка Найквиста

В 1927 году Найквист определил, что количество независимых импульсов, которые могут быть пропущены по телеграфному каналу за единицу времени, ограничено удвоенной шириной полосы канала. В символической записи

${\ displaystyle f_ {p} \ leq 2B}$

где - частота импульсов (в импульсах в секунду), а - полоса пропускания (в герцах). Величина позже стала называться частотой Найквиста , и передача с предельной частотой следования импульсов в секунду как сигнализация с частотой Найквиста . Найквист опубликовал свои результаты в 1928 году как часть своей статьи «Некоторые вопросы теории передачи телеграфа». ${\ displaystyle f_ {p}}$${\ displaystyle B}$${\ displaystyle 2B}$${\ displaystyle 2B}$

Закон Хартли

В 1928 году Хартли сформулировал способ количественной оценки информации и ее линейной скорости (также известной как скорость передачи данных R бит в секунду). Этот метод, позже известный как закон Хартли, стал важным предшественником более изощренного представления Шеннона о пропускной способности канала.

Хартли утверждал, что максимальное количество различимых уровней импульсов, которые могут быть надежно переданы и приняты по каналу связи, ограничено динамическим диапазоном амплитуды сигнала и точностью, с которой приемник может различать уровни амплитуды. В частности, если амплитуда передаваемого сигнала ограничена диапазоном [- A ... + A ] вольт, а точность приемника составляет ± Δ V вольт, то максимальное количество отдельных импульсов M определяется выражением

${\ Displaystyle M = 1 + {A \ over \ Delta V}}$.

Принимая информацию за импульс в битах / импульсах за логарифм по основанию 2 числа различных сообщений M, которые могут быть отправлены, Хартли построил меру линейной скорости R как:

${\ displaystyle R = f_ {p} \ log _ {2} (M),}$

где - частота следования импульсов, также известная как скорость передачи символов, в символах в секунду или бодах . ${\ displaystyle f_ {p}}$

Затем Хартли объединил приведенную выше количественную оценку с наблюдением Найквиста о том, что количество независимых импульсов, которые могут быть пропущены через канал с полосой пропускания в герцах, было импульсами в секунду, чтобы прийти к количественной оценке достижимой скорости линии. ${\ displaystyle B}$ ${\ displaystyle 2B}$

Закон Хартли иногда цитируется как только пропорциональности между аналоговой полосой пропускания , в герцах и то , что сегодня называется цифровой полосой пропускания , в бит / с. В других случаях он цитируется в более количественной форме как достижимая линейная скорость в битах в секунду: ${\ displaystyle B}$${\ displaystyle R}$${\ displaystyle R}$

${\ Displaystyle R \ Leq 2B \ log _ {2} (M).}$

Хартли не смог точно выяснить, как число M должно зависеть от статистики шума канала или как можно сделать надежную связь, даже когда отдельные импульсы символов не могут быть надежно различимы до M уровней; со статистикой гауссова шума разработчики системы должны были выбрать очень консервативное значение для достижения низкой частоты ошибок. ${\ displaystyle M}$

Концепция безошибочной пропускной способности ждала Клода Шеннона, который основывался на наблюдениях Хартли о логарифмической мере информации и наблюдениях Найквиста о влиянии ограничений пропускной способности.

Результат скорости Хартли можно рассматривать как пропускную способность безошибочного M -арного канала символов в секунду. Некоторые авторы называют это емкостью. Но такой канал без ошибок является идеализацией, и если M выбрано достаточно малым, чтобы сделать шумный канал почти безошибочным, результат обязательно будет меньше, чем пропускная способность Шеннона полосы пропускания зашумленного канала , что является результатом Хартли-Шеннона, который последовал позже. . ${\ displaystyle 2B}$${\ displaystyle B}$

Теорема кодирования канала с шумом и пропускная способность

Развитие теории информации Клодом Шенноном во время Второй мировой войны явилось следующим большим шагом в понимании того, какой объем информации может быть надежно передан через зашумленные каналы. Основываясь на фундаменте Хартли, теорема Шеннона о кодировании канала с шумом (1948) описывает максимально возможную эффективность методов исправления ошибок по сравнению с уровнями шумовых помех и искажения данных. Доказательство теоремы показывает, что случайно построенный код с исправлением ошибок по существу не хуже наилучшего из возможных; Теорема доказывается с помощью статистики таких случайных кодов.

Теорема Шеннона показывает, как вычислить пропускную способность канала из статистического описания канала, и устанавливает, что при наличии шумного канала с пропускной способностью и информацией, передаваемой со скоростью линии , тогда, если ${\ displaystyle C}$${\ displaystyle R}$

${\ Displaystyle R <C}$

существует метод кодирования, который позволяет сделать вероятность ошибки на приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок с точностью почти до предела бит в секунду. ${\ displaystyle C}$

Обратное тоже важно. Если

${\ displaystyle R> C}$

вероятность ошибки на приемнике неограниченно возрастает с увеличением скорости. Таким образом, никакая полезная информация не может передаваться за пределы пропускной способности канала. Теорема не рассматривает редкую ситуацию, в которой скорость и мощность равны.

Теорема Шеннона – Хартли устанавливает, какова пропускная способность канала для канала с конечной полосой пропускания и непрерывного времени, подверженного гауссовскому шуму. Он связывает результат Хартли с теоремой Шеннона о пропускной способности канала в форме, которая эквивалентна указанию M в формуле линейной скорости Хартли в терминах отношения сигнал / шум, но обеспечивает надежность за счет кодирования с исправлением ошибок, а не за счет надежно различимых уровней импульсов. .

Если бы существовала такая вещь, как аналоговый канал без шума, можно было бы передавать по нему неограниченное количество безошибочных данных за единицу времени (обратите внимание, что аналоговый канал с бесконечной полосой пропускания не может передавать неограниченное количество безошибочных данных. отсутствует бесконечная мощность сигнала). Однако реальные каналы подвержены ограничениям, налагаемым как конечной полосой пропускания, так и ненулевым шумом.

Полоса пропускания и шум влияют на скорость, с которой информация может передаваться по аналоговому каналу. Сами по себе ограничения полосы пропускания не накладывают ограничения на максимальную скорость передачи информации, потому что сигнал все еще может принимать неопределенно большое количество разных уровней напряжения на каждом символьном импульсе, причем каждому немного разному уровню присваивается другое значение или битовая последовательность. . Однако, принимая во внимание ограничения как шума, так и полосы пропускания, существует ограничение на количество информации, которое может быть передано сигналом ограниченной мощности, даже когда используются сложные методы многоуровневого кодирования.

В канале, рассматриваемом теоремой Шеннона – Хартли, шум и сигнал суммируются. То есть приемник измеряет сигнал, который равен сумме сигнала, кодирующего желаемую информацию, и непрерывной случайной величины, представляющей шум. Это добавление создает неопределенность относительно значения исходного сигнала. Если приемник имеет некоторую информацию о случайном процессе, который генерирует шум, в принципе можно восстановить информацию в исходном сигнале, рассматривая все возможные состояния шумового процесса. В случае теоремы Шеннона – Хартли предполагается, что шум генерируется гауссовским процессом с известной дисперсией. Поскольку дисперсия гауссовского процесса эквивалентна его мощности, принято называть эту дисперсию мощностью шума.

Такой канал называется каналом аддитивного белого гауссова шума, потому что к сигналу добавляется гауссов шум; «белый» означает равное количество шума на всех частотах в полосе пропускания канала. Такой шум может возникать как из-за случайных источников энергии, так и из-за ошибок кодирования и измерения на отправителе и получателе соответственно. Поскольку суммы независимых гауссовских случайных величин сами являются гауссовскими случайными величинами, это удобно упрощает анализ, если предположить, что такие источники ошибок также являются гауссовыми и независимыми.

Следствия теоремы

Сравнение способности Шеннона с законом Хартли

Сравнивая пропускную способность канала со скоростью передачи информации по закону Хартли, мы можем найти эффективное количество различимых уровней M :

${\ displaystyle 2B \ log _ {2} (M) = B \ log _ {2} \ left (1 + {\ frac {S} {N}} \ right)}$

${\ displaystyle M = {\ sqrt {1 + {\ frac {S} {N}}}}.}$

Квадратный корень эффективно преобразует отношение мощностей обратно в отношение напряжений, поэтому количество уровней приблизительно пропорционально отношению среднеквадратичной амплитуды сигнала к стандартному отклонению шума.

Это сходство по форме между пропускной способностью Шеннона и законом Хартли не следует интерпретировать как означающее, что уровни пульса могут быть отправлены буквально без какой-либо путаницы. Для обеспечения избыточного кодирования и исправления ошибок необходимо больше уровней, но чистая скорость передачи данных, к которой можно приблизиться с помощью кодирования, эквивалентна использованию скорости в законе Хартли. ${\ displaystyle M}$${\ displaystyle M}$

Частотно-зависимый (цветной шум) случай

В простой версии, приведенной выше, сигнал и шум полностью некоррелированы, и в этом случае это общая мощность принятого сигнала и шума вместе. Обобщение приведенного выше уравнения для случая, когда аддитивный шум не является белым (или когда он не является постоянным с частотой по всей полосе пропускания), получается путем параллельной обработки канала как множества узких независимых гауссовских каналов: ${\ Displaystyle S + N}$${\ Displaystyle S / N}$

${\ Displaystyle C = \ int _ {0} ^ {B} \ log _ {2} \ left (1 + {\ frac {S (f)} {N (f)}} \ right) df}$

куда

• ${\ displaystyle C}$- пропускная способность канала в битах в секунду;
• ${\ displaystyle B}$ - полоса пропускания канала в Гц;
• ${\ Displaystyle S (е)}$спектр мощности сигнала
• ${\ Displaystyle N (е)}$ спектр мощности шума
• ${\ displaystyle f}$ частота в Гц.

Примечание: теорема применима только к гауссовскому стационарному технологическому шуму. Способ введения частотно-зависимого шума с помощью этой формулы не может описать все шумовые процессы в непрерывном времени. Например, рассмотрим шумовой процесс, состоящий из добавления случайной волны с амплитудой 1 или -1 в любой момент времени и канала, который добавляет такую ​​волну к исходному сигналу. Частотные составляющие такой волны сильно зависят. Хотя такой шум может иметь большую мощность, довольно легко передать непрерывный сигнал с гораздо меньшей мощностью, чем это потребовалось бы, если бы основной шум был суммой независимых шумов в каждой полосе частот.

Приближения

Для больших или малых и постоянных отношений сигнал / шум формула емкости может быть приближена:

Случай с ограниченной пропускной способностью

Когда отношение сигнал / шум велико ( S / N 1 ), логарифм аппроксимируется следующим образом:

${\ displaystyle \ log _ {2} \ left (1 + {\ frac {S} {N}} \ right) \ приблизительно \ log _ {2} {\ frac {S} {N}} = {\ frac { \ ln 10} {\ ln 2}} \ cdot \ log _ {10} {\ frac {S} {N}} \ приблизительно 3,32 \ cdot \ log _ {10} {\ frac {S} {N}}}$,

в этом случае пропускная способность является логарифмической по мощности и приблизительно линейной по ширине полосы (не совсем линейной, поскольку N увеличивается с увеличением ширины полосы, что приводит к логарифмическому эффекту). Это называется режимом с ограниченной пропускной способностью .

${\ Displaystyle С \ приблизительно 0,332 \ CDOT B \ CDOT \ mathrm {SNR \ (в \ дБ)}}$

куда

${\ displaystyle \ mathrm {SNR \ (in \ dB)} = 10 \ log _ {10} {S \ over N}.}$

Корпус с ограничением мощности

Точно так же, когда отношение сигнал / шум невелико (если ), применяя приближение к логарифму: ${\ Displaystyle S / N \ ll 1}$

${\ displaystyle \ log _ {2} \ left (1 + {\ frac {S} {N}} \ right) = {\ frac {1} {\ ln 2}} \ cdot \ ln \ left (1+ { \ frac {S} {N}} \ right) \ приблизительно {\ frac {1} {\ ln 2}} \ cdot {\ frac {S} {N}} \ приблизительно 1,44 \ cdot {S \ over N}}$;

тогда емкость линейна по мощности. Это называется режимом с ограничением мощности .

${\ displaystyle C \ приблизительно 1,44 \ cdot B \ cdot {S \ over N}.}$

В этом приближении низкого отношения сигнал / шум емкость не зависит от полосы пропускания, если шум белый, от спектральной плотности ватт на герц, и в этом случае общая мощность шума равна . ${\ displaystyle N_ {0}}$${\ Displaystyle N = B \ cdot N_ {0}}$

${\ displaystyle C \ приблизительно 1,44 \ cdot {S \ over N_ {0}}}$

Примеры

1. При ОСШ 0 дБ (мощность сигнала = мощность шума) пропускная способность в битах / с равна ширине полосы в герцах.
2. Если SNR составляет 20 дБ, а доступная полоса пропускания составляет 4 кГц, что подходит для телефонной связи, тогда C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 кбит / с. Обратите внимание, что значение S / N = 100 эквивалентно соотношению сигнал / шум 20 дБ.
3. Если требуется передавать со скоростью 50 кбит / с, и используется полоса пропускания 10 кГц, то минимальное требуемое отношение сигнал / шум определяется как 50000 = 10000 log ₂ (1 + S / N), поэтому C / B = 5, тогда Отношение сигнал / шум = 2 ⁵ - 1 = 31, что соответствует соотношению сигнал / шум 14,91 дБ (10 x log ₁₀ (31)).
4. Какова пропускная способность канала для сигнала с полосой пропускания 1 МГц, принятого с отношением сигнал / шум -30 дБ? Это означает, что сигнал глубоко погребен под шумом. −30 дБ означает отношение сигнал / шум = 10 ⁻³ . Это приводит к максимальной скорости передачи информации 10 ⁶ log ₂ (1 + 10 ⁻³ ) = 1443 бит / с. Эти значения типичны для принятых сигналов измерения дальности GPS, где навигационное сообщение отправляется со скоростью 50 бит / с (ниже пропускной способности канала для данного S / N), и чья полоса пропускания расширяется примерно до 1 МГц с помощью псевдо-частоты. умножение шума перед передачей.
5. Как указано выше, пропускная способность канала пропорциональна ширине полосы канала и логарифму отношения сигнал / шум. Это означает, что пропускная способность канала может быть увеличена линейно либо за счет увеличения полосы пропускания канала при фиксированном требовании SNR, либо, при фиксированной полосе пропускания, за счет использования модуляций более высокого порядка, которым для работы требуется очень высокое SNR. По мере увеличения скорости модуляции спектральная эффективность улучшается, но за счет требования SNR. Таким образом, существует экспоненциальный рост требований к SNR, если используется 16QAM или 64QAM (см .: квадратурная амплитудная модуляция ); однако спектральная эффективность улучшается.

Смотрите также

• Теорема выборки Найквиста – Шеннона
• Eb / N0

Примечания

использованная литература

• Герберт Тауб, Дональд Л. Шиллинг (1986). Принципы коммуникационных систем . Макгроу-Хилл.
• Джон М. Возенкрафт и Ирвин Марк Джейкобс (1965). Принципы коммуникационной инженерии . Нью-Йорк: Джон Вили и сыновья.

внешние ссылки

• Он-лайн учебник: Теория информации, логический вывод и алгоритмы обучения , написанный Дэвидом Маккеем - дает занимательное и подробное введение в теорию Шеннона, включая два доказательства теоремы о кодировании с шумным каналом. В этом тексте также обсуждаются современные методы теории кодирования, такие как коды с низкой плотностью проверки четности и турбо-коды .
• Статья MIT News о Шеннон Лимите