Энтропия в термодинамике и теории информации - Entropy in thermodynamics and information theory

Математические выражения для термодинамической энтропии в статистической термодинамике формулировке , установленной Людвига Больцмана и Гиббс в 1870 - х аналогичны информационной энтропии по Клода Шеннона и Хартли , разработанной в 1940 - х годах.

Эквивалентность формы определяющих выражений

Определяющее выражение для энтропии в теории статистической механики, установленное Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, имеет вид:

${\ displaystyle S = -k _ {\ text {B}} \ sum _ {i} p_ {i} \ ln p_ {i},}$

где - вероятность микросостояния i, взятого из равновесного ансамбля. ${\ displaystyle p_ {i}}$

Определяющее выражение для энтропии в теории информации, установленной Клодом Э. Шенноном в 1948 году, имеет вид:

${\ displaystyle H = - \ sum _ {i} p_ {i} \ log _ {b} p_ {i},}$

где - вероятность сообщения, взятого из пространства сообщений M , а b - основание используемого логарифма . Общие значения b - 2, число Эйлера e и 10, а единица энтропии - шеннон (или бит ) для b  = 2, nat для b  =  e и хартли для b  = 10. ${\ displaystyle p_ {i}}$${\ displaystyle m_ {i}}$

Математически H можно также рассматривать как среднюю информацию, взятую по пространству сообщений, потому что, когда определенное сообщение возникает с вероятностью p _i , будет получено количество информации -log ( p _i ) (называемое информационным содержанием или собственной информацией).

Если все микросостояния равновероятны ( микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к форме, заданной Больцманом,

${\ Displaystyle S = к _ {\ текст {B}} \ ln W,}$

где W - количество микросостояний, соответствующее макроскопическому термодинамическому состоянию. Следовательно, S зависит от температуры.

Если все сообщения равновероятны, информационная энтропия сводится к энтропии Хартли.

${\ Displaystyle H = \ журнал _ {b} | M | \,}$

где это кардинальное из пространства сообщений M . ${\ displaystyle | M |}$

Логарифм в термодинамическом определении - это натуральный логарифм . Можно показать , что энтропия Гиббса формула, с натуральным логарифмом, воспроизводит все свойства макроскопических классической термодинамики на Рудольфа Клаузиуса . (См. Статью: Энтропия (статистические представления) ).

В случае информационной энтропии логарифм также может быть взят по натуральному основанию. Это эквивалентно выбору измерения информации в натсах, а не в обычных битах (или, более формально, в шаннонах). На практике информационная энтропия почти всегда вычисляется с использованием логарифмов по основанию 2, но это различие сводится к не чем иным, как к изменению единиц. Один нат составляет около 1,44 шаннона.

Для простой сжимаемой системы, которая может выполнять только объемную работу, первый закон термодинамики принимает следующий вид:

${\ displaystyle dE = -pdV + TdS.}$

Но с равным успехом можно записать это уравнение в терминах того, что физики и химики иногда называют `` приведенной '' или безразмерной энтропией, σ = S / k , так что

${\ displaystyle dE = -pdV + k _ {\ text {B}} Td \ sigma.}$

Так же, как S сопряжена с T , так и σ сопряжена с k _B T (энергия, которая характерна для T в молекулярном масштабе).

Таким образом, определения энтропии в статистической механике ( формула энтропии Гиббса ) и в классической термодинамике ( и фундаментальное термодинамическое соотношение ) эквивалентны для микроканонического ансамбля и статистических ансамблей, описывающих термодинамическую систему, находящуюся в равновесии с резервуаром, например канонический ансамбль , большой канонический ансамбль , изотермино-изобарический ансамбль . Эта эквивалентность обычно указывается в учебниках. Однако эквивалентность между термодинамическим определением энтропии и энтропии Гиббса не является общим, а, вместо этого, исключительным свойством обобщенного распределения Больцмана . ${\ displaystyle S = -k _ {\ mathrm {B}} \ sum _ {i} p_ {i} \ log p_ {i}}$${\ displaystyle dS = {\ frac {\ delta Q _ {\ text {rev}}} {T}}}$

Теоретические отношения

Несмотря на вышесказанное, между двумя величинами есть разница. Информационная энтропия Η может быть вычислен для любого распределения вероятностей (если «сообщение» берутся , что событие я , который имел вероятность р _я произошел, из пространства событий возможных), в то время как термодинамическая энтропия S относится к термодинамической вероятности p _{i в} частности. Однако разница скорее теоретическая, чем реальная, потому что любое распределение вероятностей может быть сколь угодно точно аппроксимировано некоторой термодинамической системой.

Более того, между ними может быть установлена ​​прямая связь. Если рассматриваемые вероятности являются термодинамическими вероятностями p _i : (приведенная) энтропия Гиббса σ может тогда рассматриваться как просто количество информации Шеннона, необходимое для определения подробного микроскопического состояния системы с учетом ее макроскопического описания. Или, говоря словами Г. Н. Льюиса, писавшего о химической энтропии в 1930 году: «Увеличение энтропии всегда означает потерю информации и ничего более». Чтобы быть более конкретным, в дискретном случае, использующем логарифмы с основанием два, приведенная энтропия Гиббса равна среднему значению минимального числа вопросов типа «да – нет», на которые необходимо ответить, чтобы полностью определить микросостояние , при условии, что мы знаем макросостояние .

Кроме того, предписание найти равновесные распределения статистической механики - например, распределение Больцмана - путем максимизации энтропии Гиббса при соответствующих ограничениях ( алгоритм Гиббса ) можно рассматривать как нечто не уникальное для термодинамики, а как принцип общей значимости. в статистическом выводе, если желательно найти максимально неинформативное распределение вероятностей при определенных ограничениях на его средние значения. (Эти перспективы подробно рассматриваются в статье « Термодинамика максимальной энтропии» .)

Энтропия Шеннона в теории информации иногда выражается в битах на символ. Физическая энтропия может быть рассчитана на основе «на количество» ( h ), которая называется « интенсивной » энтропией, вместо обычной полной энтропии, которая называется «экстенсивной» энтропией. «Шанноны» сообщения ( Η ) - это его общая «обширная» информационная энтропия, которая в h раз превышает количество битов в сообщении.

Прямая и физически реальная взаимосвязь между h и S может быть найдена путем присвоения символа каждому микросостоянию, которое происходит на моль, килограмм, объем или частицу однородного вещества, а затем вычисление «h» этих символов. Теоретически или по наблюдениям символы (микросостояния) будут возникать с разной вероятностью, и это будет определять h . Если имеется N молей, килограммов, объемов или частиц единичного вещества, соотношение между h (в битах на единицу вещества) и физической экстенсивной энтропией в натсах будет следующим:

${\ Displaystyle S = к _ {\ mathrm {B}} \ ln (2) Nh}$

где ln (2) - коэффициент преобразования 2 энтропии Шеннона в естественную базу e физической энтропии. Н ч это количество информации в битах , необходимых для описания состояния физической системы с энтропией S . Принцип Ландауэра демонстрирует реальность этого, заявляя, что минимальная требуемая энергия E (и, следовательно, выделяемое тепло Q ) за счет идеально эффективного изменения памяти или логической операции путем необратимого стирания или слияния N h бит информации будет в S раз превышать температуру, которая

${\ Displaystyle E = Q = Tk _ {\ mathrm {B}} \ ln (2) Nh,}$

где h - информационные биты, а E и Q - физические Джоули. Это подтверждено экспериментально.

Температура - это мера средней кинетической энергии, приходящейся на одну частицу в идеальном газе (Кельвина = 2/3джоуль / k _B ), поэтому единицы J / K для k _B безразмерны (джоуль / джоуль). k _b - коэффициент преобразования энергии в3/2 кельвины в джоули для идеального газа. Если бы измерения кинетической энергии на частицу идеального газа были выражены в джоулях, а не в градусах Кельвина, k _b в приведенных выше уравнениях было бы заменено на 3/2. Это показывает, что S является истинной статистической мерой микросостояний, не имеющей фундаментальной физической единицы, кроме единиц информации, в данном случае nats, что является просто заявлением о том, какое основание логарифма было выбрано по соглашению.

Информация физическая

Двигатель Сцилларда

Физический мысленный эксперимент, демонстрирующий, как простое владение информацией может в принципе иметь термодинамические последствия, был установлен в 1929 году Лео Сцилардом в уточнении известного сценария Максвелла с демонами .

Рассмотрим установку Максвелла, но только с одной частицей газа в коробке. Если сверхъестественный демон знает, в какой половине ящика находится частица (что эквивалентно одному биту информации), он может закрыть заслонку между двумя половинами ящика, беспрепятственно закрыть поршень в пустой половине ящика и затем извлеките джоули полезной работы, если затвор снова откроется. Затем частицу можно дать изотермически расшириться до ее исходного равновесного занятого объема. Следовательно, при правильных обстоятельствах обладание одним битом информации Шеннона (один бит негэнтропии в термине Бриллюэна) действительно соответствует уменьшению энтропии физической системы. Глобальная энтропия не уменьшается, но преобразование информации в свободную энергию возможно. ${\ Displaystyle к _ {\ текст {B}} Т \ ln 2}$

Использование фазово-контрастного микроскопа, оснащенного высокоскоростной камерой, подключенной к компьютеру, как демон , фактически продемонстрировал принцип. В этом эксперименте преобразование информации в энергию осуществляется на броуновской частице посредством управления с обратной связью ; то есть синхронизация работы, выполняемой частицей, с полученной информацией о ее положении. Расчет энергетических балансов для различных протоколов обратной связи подтвердил, что равенство Ярзинского требует обобщения, учитывающего объем информации, включенной в обратную связь.

Принцип Ландауэра

Фактически можно сделать обобщение: любая информация, имеющая физическое представление, должна каким-то образом быть встроена в статистико-механические степени свободы физической системы.

Таким образом, утверждал Рольф Ландауэр в 1961 году, если бы кто-то вообразил, что начав с этих степеней свободы в термализованном состоянии, было бы реальное уменьшение термодинамической энтропии, если бы они затем были возвращены в известное состояние. Это может быть достигнуто только при сохраняющей информацию микроскопически детерминированной динамике, если неопределенность каким-то образом сбрасывается где-то еще - то есть, если энтропия окружающей среды (или не содержащие информацию степени свободы) увеличивается по крайней мере на эквивалентную величину, как требуется. по Второму закону, набирая соответствующее количество тепла: в частности, kT  ln 2 тепла на каждый 1 стертый бит случайности.

С другой стороны, утверждал Ландауэр, нет никаких термодинамических возражений против логически обратимой операции, потенциально достижимой в системе физически обратимым образом. Это только логически необратимые операции - например, стирание бита до известного состояния или слияние двух путей вычисления - которые должны сопровождаться соответствующим увеличением энтропии. Когда информация является физической, вся обработка ее представлений, то есть генерация, кодирование, передача, декодирование и интерпретация, являются естественными процессами, в которых энтропия увеличивается за счет потребления свободной энергии.

Применительно к сценарию демона / двигателя Сцилларда Максвелла это предполагает, что можно было бы «прочитать» состояние частицы в вычислительном устройстве без затрат энтропии; но только если устройство уже было НАСТРОЕНО в известное состояние, а не в термализованном состоянии неопределенности. Для SET (или сброса ) устройства в этом состоянии будет стоить все энтропии , которые могут быть сохранены, зная состояние частицы Сцилларда.

Негэнтропия

Физик Леон Бриллюэн связал энтропию Шеннона с концепцией, которую иногда называют негэнтропией . В 1953 году Бриллюэн вывел общее уравнение, согласно которому изменение значения информационного бита требует  энергии не менее kT ln (2). Это та же самая энергия , которую производит двигатель Лео Сцилларда в идеалистическом случае, которая, в свою очередь, равна той же величине, которую обнаружил Ландауэр . В своей книге он далее исследовал эту проблему, сделав вывод, что любая причина изменения значения бита (измерение, решение вопроса «да / нет», стирание, отображение и т. Д.) Потребует того же количества, kT  ln (2), энергии. . Следовательно, получение информации о микросостоянии системы связано с производством энтропии, в то время как стирание дает производство энтропии только при изменении значения бита. Установка небольшого количества информации в подсистеме, изначально находящейся в состоянии теплового равновесия, приводит к локальному снижению энтропии. Однако, согласно Бриллюэну, второй закон термодинамики не нарушается, поскольку уменьшение термодинамической энтропии любой локальной системы приводит к увеличению термодинамической энтропии в другом месте. Таким образом, Бриллюэн прояснил значение негэнтропии, которое считалось спорным, потому что его более раннее понимание может дать эффективность Карно выше единицы. Кроме того, связь между энергией и информацией, сформулированная Бриллюэном, была предложена как связь между количеством битов, обрабатываемых мозгом, и потребляемой им энергией: Колелл и Фоке утверждали, что Де Кастро аналитически нашел предел Ландауэра как термодинамическую нижнюю границу для вычисления мозга. Однако, хотя предполагается, что эволюция «выбрала» наиболее энергетически эффективные процессы, физические нижние границы не являются реалистичными величинами в мозгу. Во-первых, потому, что минимальная единица обработки, рассматриваемая в физике, - это атом / молекула, которые далеки от реального способа работы мозга; и, во-вторых, потому что нейронные сети включают важные факторы избыточности и шума, которые значительно снижают их эффективность. Laughlin et al. был первым, кто дал точные количественные данные об энергетических затратах на обработку сенсорной информации. Их находки на мясных мухах показали, что для зрительных сенсорных данных стоимость передачи одного бита информации составляет около 5 × 10 ^-14 Джоулей, или, что эквивалентно, 10 ⁴ молекул АТФ. Таким образом, эффективность нейронной обработки еще далека от предела Ландауэра kTln (2) J, но, что любопытно, она все же намного эффективнее современных компьютеров.

В 2009 году Махуликар и Хервиг переопределили термодинамическую негэнтропию как специфический дефицит энтропии динамически упорядоченной подсистемы по сравнению с ее окружением. Это определение позволило сформулировать принцип негэнтропии , который, как математически показано, следует из 2-го закона термодинамики, во время существования порядка.

Черные дыры

Стивен Хокинг часто говорил о термодинамической энтропии черных дыр с точки зрения их информационного содержания. Уничтожают ли черные дыры информацию? Похоже, что существует глубокая связь между энтропией черной дыры и потерей информации. Смотрите Черная дыра термодинамика и черная дыра информация парадокс .

Квантовая теория

Хиршман показал, ср. Неопределенность Хиршмана , что принцип неопределенности Гейзенберга может быть выражен как конкретная нижняя граница суммы классических энтропий распределения квантовых наблюдаемых распределений вероятностей квантово-механического состояния, квадрата волновой функции по координате, а также импульсного пространства при выражении в единицах Планка . Полученные в результате неравенства обеспечивают более жесткую границу соотношений неопределенностей Гейзенберга.

Имеет смысл присвоить « совместную энтропию », потому что позиции и импульсы являются квантовыми сопряженными переменными и, следовательно, совместно не наблюдаются. Математически их следует рассматривать как совместное распределение . Обратите внимание , что эта совместная энтропия не эквивалентна энтропии фон Неймана , -Tr ρ пер ρ = -⟨ln ρ ⟩. Считается, что энтропия Хиршмана объясняет полное информационное содержание смеси квантовых состояний .

(Недовольство энтропией фон Неймана с точки зрения квантовой информации было выражено Стотландом, Померанским, Бахматом и Коэном, которые ввели еще одно другое определение энтропии, которое отражает присущую квантово-механическим состояниям неопределенность. минимальная энтропия неопределенности чистых состояний и избыточная статистическая энтропия смесей.)

Теорема о флуктуациях

Теорема о флуктуациях обеспечивает математическое обоснование второго закона термодинамики в соответствии с этими принципами и точно определяет ограничения применимости этого закона для систем, далеких от термодинамического равновесия.

Критика

Существует критика связи между термодинамической энтропией и информационной энтропией.

Наиболее распространенная критика заключается в том, что информационная энтропия не может быть связана с термодинамической энтропией, потому что в дисциплине информационной энтропии нет концепции температуры, энергии или второго закона. Лучше всего это можно обсудить, рассмотрев фундаментальное уравнение термодинамики :

${\ displaystyle dU = \ sum F_ {i} \, dx_ {i}}$

где F _i - это «обобщенные силы», а dx _i - «обобщенные перемещения». Это аналогично уравнению механического дЕ = Р Dx , где дЕ является изменением кинетической энергии объекта , имеющим было смещено на расстоянии ого под действием силы F . Например, для простого газа имеем:

${\ Displaystyle dU = TdS-PdV + \ mu dN}$

где температура ( T ), давление ( P ) и химический потенциал ( μ ) являются обобщенными силами, которые при дисбалансе приводят к обобщенному смещению энтропии ( S ), объема ( -V ) и количества ( N ) соответственно, и произведения сил и перемещений дают изменение внутренней энергии ( dU ) газа.

В механическом примере неверно заявлять, что dx не является геометрическим смещением, потому что он игнорирует динамические отношения между смещением, силой и энергией. Смещение, как понятие в геометрии, не требует понятий энергии и силы для своего определения, и поэтому можно ожидать, что энтропия может не требовать понятий энергии и температуры для своего определения. Однако все не так просто. В классической термодинамике, изучающей термодинамику с чисто эмпирической или измерительной точки зрения, термодинамическую энтропию можно измерить только с учетом энергии и температуры. Утверждение Клаузиуса dS = δQ / T или, что то же самое, когда все другие эффективные смещения равны нулю, dS = dU / T , является единственным способом фактически измерить термодинамическую энтропию. Только с введением статистической механики , точки зрения, согласно которой термодинамическая система состоит из совокупности частиц и которая объясняет классическую термодинамику в терминах вероятностных распределений, энтропия может рассматриваться отдельно от температуры и энергии. Это выражено в известной формуле энтропии Больцмана S = k _B ln (W) . Здесь k _B - постоянная Больцмана , а W - количество равновероятных микросостояний, которые приводят к определенному термодинамическому состоянию или макросостоянию.

Предполагается, что уравнение Больцмана обеспечивает связь между термодинамической энтропией S и информационной энтропией H = −Σi pi ln pi = ln (W), где p _i = 1 / W - равные вероятности данного микросостояния. Эта интерпретация также подверглась критике. Хотя некоторые говорят, что уравнение представляет собой просто уравнение преобразования единиц между термодинамической и информационной энтропией, это не совсем правильно. Уравнение преобразования единиц, например, изменит дюймы на сантиметры и даст два измерения в разных единицах одной и той же физической величины (длины). Поскольку термодинамическая и информационная энтропия размерно неравны (энергия / единица температуры по сравнению с единицами информации), уравнение Больцмана больше похоже на x = ct, где x - расстояние, пройденное световым лучом за время t , c - скорость света. Хотя мы не можем сказать, что длина x и время t представляют собой одну и ту же физическую величину, мы можем сказать, что в случае светового луча, поскольку c является универсальной константой, они будут обеспечивать совершенно точные измерения друг друга. (Например, световой год используется как мера расстояния). Аналогичным образом, в случае уравнения Больцмана, хотя мы не можем сказать, что термодинамическая энтропия S и информационная энтропия H представляют собой одну и ту же физическую величину, мы можем сказать, что в случае термодинамической системы, поскольку k _B является универсальной константой, они будут обеспечивают совершенно точные измерения друг друга.

Тогда остается вопрос, является ли ln (W) теоретико-информационной величиной. Если он измеряется в битах, можно сказать, что с учетом макросостояния он представляет собой среднее из минимального количества вопросов типа «да / нет», которые необходимо задать для определения микросостояния, что явно является теоретико-информационной концепцией. Возражающие указывают, что такой процесс чисто концептуальный и не имеет ничего общего с измерением энтропии. С другой стороны, вся статистическая механика носит чисто концептуальный характер и служит только для объяснения «чистой» науки термодинамики.

В конце концов, критика связи между термодинамической энтропией и информационной энтропией - вопрос терминологии, а не содержания. Ни одна из сторон в споре не будет иметь разногласий по поводу решения конкретной термодинамической или теоретико-информационной проблемы.

Темы недавних исследований

Информация квантуется?

В 1995 году Тим Палмер высказал два неписаных предположения об определении информации Шенноном, которые могут сделать его неприменимым как таковое к квантовой механике :

• Предположение, что существует такая вещь, как наблюдаемое состояние (например, верхняя грань игральной кости или монеты) до начала наблюдения
• Тот факт, что знание этого состояния не зависит от порядка, в котором производятся наблюдения ( коммутативность )

Статья Антона Цайлингера и Часлава Брукнера синтезировала и развила эти замечания. Так называемый принцип Цайлингера предполагает, что квантование, наблюдаемое в QM, может быть связано с квантованием информации (нельзя наблюдать менее одного бита, а то, что не наблюдается, по определению является «случайным»). Тем не менее, эти утверждения остаются довольно спорными. Подробные обсуждения применимости информации Шеннона в квантовой механике и аргумент о том, что принцип Цайлингера не может объяснить квантование, были опубликованы, которые показывают, что Брукнер и Цайлингер изменяют в середине вычисления в своей статье числовые значения необходимых вероятностей. для вычисления энтропии Шеннона, так что расчет не имеет смысла.

Извлечение работы из квантовой информации в движке Szilárd

В 2013 году было опубликовано описание двухатомной версии двигателя Сциларда, использующей квантовый дискорд для генерации работы на основе чисто квантовой информации. Были предложены уточнения нижнего предела температуры.

Алгоритмическое охлаждение

Алгоритмическое охлаждение - это алгоритмический метод передачи тепла (или энтропии) от одних кубитов к другим или за пределы системы в окружающую среду, что приводит к охлаждающему эффекту. Этот охлаждающий эффект может быть использован для инициализации холодных (очень чистых) кубитов для квантовых вычислений и для увеличения поляризации определенных спинов в ядерном магнитном резонансе .

Смотрите также

использованная литература

Дополнительные ссылки

внешние ссылки

• Обработка информации и термодинамическая энтропия Стэнфордская философская энциклопедия.
• Интуитивное руководство к концепции энтропии, возникающей в различных секторах науки - викибук по интерпретации концепции энтропии.