История энтропии - History of entropy

Концепция энтропии возникла в ответ на наблюдение, что определенное количество функциональной энергии, высвобождаемой в результате реакций горения, всегда теряется на рассеяние или трение и, таким образом, не преобразуется в полезную работу . Ранние тепловые двигатели, такие как двигатель Томаса Сэвери (1698 г.), двигатель Ньюкомена (1712 г.) и паровой трехколесный велосипед Кугно (1769 г.), были неэффективными, преобразовывая менее двух процентов входящей энергии в полезную работу ; большое количество полезной энергии было рассеяно или потеряно. В течение следующих двух столетий физики исследовали эту загадку потерянной энергии; результатом стала концепция энтропии.

В начале 1850-х годов Рудольф Клаузиус изложил концепцию термодинамической системы и выдвинул аргумент, что в любом необратимом процессе небольшое количество тепловой энергии δQ постепенно рассеивается через границу системы. Клаузиус продолжал развивать свои идеи о потерянной энергии и ввел термин энтропия .

С середины 20 века понятие энтропии нашло применение в области теории информации , описывая аналогичную потерю данных в системах передачи информации.

В 2019 году понятие `` относительная энтропия луча '' было использовано для однопараметрической характеристики случайности пространства луча разреженных каналов MIMO 5G / 6G, например сотовых каналов 3GPP 5G, в миллиметровом и терагерцовом диапазонах.

Классические термодинамические представления

В 1803 году математик Лазар Карно опубликовал работу под названием « Основные принципы равновесия и движения» . Эта работа включает обсуждение эффективности основных машин, то есть шкивов и наклонных плоскостей. Карно рассмотрел все детали механизмов, чтобы развить общую дискуссию о сохранении механической энергии. В течение следующих трех десятилетий теорема Карно была принята как утверждение, что в любой машине ускорения и удары движущихся частей представляют собой потерю момента активности , то есть проделанной полезной работы . Из этого Карно сделал вывод, что вечное движение невозможно. Эта потеря момента активности была первым элементарным утверждением второго закона термодинамики и концепции «энергии преобразования» или энтропии , то есть энергии, теряемой на диссипацию и трение.

Карно умер в изгнании в 1823 году. В течение следующего года его сын Сади Карно , окончивший школу инженеров École Polytechnique , но теперь живущий на половину зарплаты со своим братом Ипполитом в маленькой квартире в Париже, написал « Размышления о мотивах». Сила огня . В этой книге Сади визуализировал идеальный двигатель, в котором любое тепло (т. Е. Калорийность ), преобразованное в работу , можно было бы восстановить, изменив направление движения цикла, концепция, впоследствии известная как термодинамическая обратимость . Основываясь на работе своего отца, Сади постулировал концепцию, согласно которой «некоторая калорийность всегда теряется» при преобразовании в работу, даже в его идеализированном обратимом тепловом двигателе, который исключает потери на трение и другие потери из-за несовершенства любой реальной машины. Он также обнаружил, что этот идеализированный КПД зависит только от температуры тепловых резервуаров, между которыми работает двигатель, а не от типов рабочих жидкостей . Никакая настоящая тепловая машина не могла реализовать обратимость цикла Карно и была приговорена к тому, чтобы быть еще менее эффективной. Эта потеря полезной калорийности была предшествующей формой увеличения энтропии, как мы теперь ее знаем. Хотя это было сформулировано в терминах калорийности, а не энтропии, это было ранним пониманием второго закона термодинамики.

1854 определение

Рудольф Клаузиус - создатель понятия «энтропия».

В своих мемуарах 1854 года Клаузиус впервые развивает концепции внутренней работы , то есть того, «что атомы тела воздействуют друг на друга», и внешней работы , то есть того, «что возникает в результате посторонних влияний, которым может подвергаться тело. ", который может воздействовать на рабочее тело из жидкости или газа, обычно функционирующее для работы с поршнем. Затем он обсуждает три категории, на которые можно разделить тепло Q :

Тепло используется для увеличения тепла, фактически существующего в теле.
Тепло, используемое при выполнении внутренних работ.
Тепло, используемое при выполнении внешних работ.

Основываясь на этой логике и следуя математическому изложению первой фундаментальной теоремы , Клаузиус представил первую в истории математическую формулировку энтропии, хотя на этом этапе развития своих теорий он назвал ее «значением эквивалентности», возможно, имея в виду концепция механического эквивалента тепла, которая развивалась в то время, а не энтропия, термин, который вошел в употребление позже. Он постановил:

вторая основная теорема в механической теории тепла таким образом , может быть сформулирована:

Если два преобразования, которые, не требуя каких-либо других постоянных изменений, могут взаимно заменять друг друга, называть эквивалентными, то генерация количества тепла Q от работы при температуре T имеет значение эквивалентности :

${\ displaystyle {\ frac {Q} {T}}}$

и переход количества тепла Q от температуры T ₁ к температуре T ₂ имеет значение эквивалентности:

${\ displaystyle Q \ left ({\ frac {1} {T_ {2}}} - {\ frac {1} {T_ {1}}} \ right)}$

где Т является функцией температуры, независимо от природы процесса, посредством которого осуществляется превращение.

В современной терминологии, мы думаем об этой эквивалентности стоимости , как «энтропия», символизируется S . Таким образом, используя приведенное выше описание, мы можем вычислить изменение энтропии Δ S для прохождения количества тепла Q от температуры T ₁ через «рабочее тело» жидкости, которое обычно было телом пара, к температуре T _2, как показано ниже:

Схема теплового двигателя Сади Карно , 1824 г.

Если мы сделаем задание:

{\ displaystyle S = {\ frac {Q} {T}}}

Тогда изменение энтропии или «значение эквивалентности» для этого преобразования:

{\ displaystyle \ Delta S = S _ {\ rm {final}} - S _ {\ rm {initial}} \,}

что равно:

{\ displaystyle \ Delta S = \ left ({\ frac {Q} {T_ {2}}} - {\ frac {Q} {T_ {1}}} \ right)}

и, вынося Q на множители, мы получаем следующую форму, выведенную Клаузиусом:

{\ displaystyle \ Delta S = Q \ left ({\ frac {1} {T_ {2}}} - {\ frac {1} {T_ {1}}} \ right)}

1856 определение

В 1856 году Клаузиус сформулировал то, что он назвал «второй фундаментальной теоремой механической теории тепла », в следующей форме:

{\ displaystyle \ int {\ frac {\ delta Q} {T}} = - N}

где N - «значение эквивалентности» всех некомпенсированных преобразований, включенных в циклический процесс. Это значение эквивалентности было предшествующей формулировкой энтропии.

1862 определение

В 1862 году Клаузиус сформулировал то, что он называет «теоремой об эквивалентности преобразований», или то, что сейчас известно как второй закон термодинамики как таковой:

Алгебраическая сумма всех преобразований, происходящих в циклическом процессе, может быть только положительной или, в крайнем случае, равной нулю.

Количественно Клаузиус утверждает, что математическое выражение этой теоремы выглядит следующим образом.

Пусть δQ - это элемент тепла, отдаваемого телом любому резервуару тепла во время его собственных изменений, причем тепло, которое оно может поглотить из резервуара, здесь считается отрицательным, а T - абсолютная температура тела в момент передачи тепла. до этого тепла, то уравнение:

${\ displaystyle \ int {\ frac {\ delta Q} {T}} = 0}$

должно быть истинным для каждого обратимого циклического процесса, и соотношение:

${\ displaystyle \ int {\ frac {\ delta Q} {T}} \ geq 0}$

должны выполняться для любого возможного циклического процесса.

Это была ранняя формулировка второго закона и одна из первоначальных форм концепции энтропии.

1865 определение

В 1865 году Клаузиус назвал необратимую потерю тепла или то, что он раньше называл «эквивалентной величиной»:

Я предлагаю взять S от греческих слов "энтропие" [внутреннее направление]. Я сознательно выбрал слово энтропия как можно более похожее на слово энергия: две величины, которые будут названы этими словами, настолько тесно связаны по физическому значению, что определенное сходство в их названиях кажется подходящим.

Клаузиус не уточнил, почему он выбрал символ «S» для обозначения энтропии, и почти наверняка неверно, что Клаузиус выбрал «S» в честь Сади Карно ; данные имена ученых редко, если вообще когда-либо используются таким образом.

Более поздние разработки

В 1876 году физик Дж. Уиллард Гиббс , опираясь на работы Клаузиуса, Германа фон Гельмгольца и других, предположил, что измерение «доступной энергии» Δ G в термодинамической системе может быть математически объяснено путем вычитания «потери энергии» T Δ S от общего изменения энергии системы Δ H . Эти концепции были развиты Джеймсом Клерком Максвеллом [1871] и Максом Планком [1903].

Статистические термодинамические представления

В 1877 году Людвиг Больцман разработал статистическую механическую оценку энтропии $S$ тела в его собственном заданном макросостоянии внутреннего термодинамического равновесия. Это может быть записано как:

{\ Displaystyle S = к _ {\ rm {B}} \ ln \ Omega \!}

куда

k B

обозначает постоянную Больцмана, а

Ω

обозначает количество микросостояний, соответствующих данному макросостоянию равновесия.

Сам Больцман на самом деле не писал эту формулу, выраженную с помощью названной константы $k B$ , что связано с чтением Больцмана Планком.

Больцман рассматривал энтропию как меру статистической «путаницы» или беспорядка. Эта концепция была вскоре уточнена Дж. Уиллардом Гиббсом и теперь рассматривается как один из краеугольных камней теории статистической механики .

Эрвин Шредингер использовал работу Больцмана в своей книге « Что такое жизнь?». чтобы объяснить, почему в живых системах гораздо меньше ошибок репликации, чем можно было бы предсказать из статистической термодинамики. Шредингер использовал уравнение Больцмана в другой форме, чтобы показать увеличение энтропии.

{\ Displaystyle S = к _ {\ rm {B}} \ ln D \!}

где D - количество возможных энергетических состояний в системе, которые могут быть случайным образом заполнены энергией. Он постулировал локальное уменьшение энтропии для живых систем, когда (1 / D) представляет количество состояний, случайное распределение которых не допускается, например, при репликации генетического кода.

{\ Displaystyle -S = К _ {\ rm {B}} \ ln (1 / D) \!}

Без этой поправки Шредингер утверждал, что статистическая термодинамика предсказала бы одну тысячу мутаций на миллион повторений и десять мутаций на сто повторений, следуя правилу квадратного корня из n, - это гораздо больше мутаций, чем происходит на самом деле.

Разделение Шредингером случайных и неслучайных энергетических состояний - одно из немногих объяснений того, почему энтропия могла быть низкой в прошлом, но постоянно увеличивающейся сейчас. Это было предложено как объяснение локализованного уменьшения энтропии при фокусировке лучистой энергии в параболических отражателях и во время темнового тока в диодах, что в противном случае было бы нарушением статистической термодинамики.

Теория информации

Аналогом термодинамической энтропии является информационная энтропия . В 1948 году, работая в Bell Telephone Laboratories, инженер-электрик Клод Шеннон решил математически количественно оценить статистическую природу «потерянной информации» в сигналах телефонной линии. Для этого Шеннон разработал очень общую концепцию информационной энтропии , фундаментальный краеугольный камень теории информации . Хотя история варьируется, сначала кажется, что Шеннон не особенно осознавал близкое сходство между его новой величиной и более ранними работами в области термодинамики. Однако в 1939 году, когда Шеннон некоторое время работал над своими уравнениями, ему довелось навестить математика Джона фон Неймана . Согласно одному источнику, во время их обсуждений относительно того, что Шеннон должен называть «мерой неопределенности» или затухания в сигналах телефонной линии, со ссылкой на его новую теорию информации:

Больше всего меня волновало, как это назвать. Я думал назвать это «информацией», но это слово использовалось слишком часто, поэтому я решил назвать его «неопределенность». Когда я обсуждал это с Джоном фон Нейманом, у него появилась идея получше. Фон Нейман сказал мне: «Вы должны называть это энтропией по двум причинам: во-первых, ваша функция неопределенности использовалась в статистической механике под этим именем, поэтому у нее уже есть название. Во-вторых, что более важно, никто не знает, что такое энтропия на самом деле, поэтому в дебатах у вас всегда будет преимущество.

Согласно другому источнику, когда фон Нейман спросил его, как у него дела со своей теорией информации, Шеннон ответил:

Теория была в отличной форме, за исключением того, что ему нужно было хорошее название для «недостающей информации». «Почему бы вам не назвать это энтропией», - предложил фон Нейман. «Во-первых, математическое развитие, очень похожее на ваше, уже существует в статистической механике Больцмана, а во-вторых, никто не понимает энтропию очень хорошо, поэтому в любом обсуждении вы будете в выгодном положении.

В 1948 году Шеннон опубликовал свою основополагающую статью «Математическая теория коммуникации» , в которой он посвятил раздел тому, что он называет выбором, неопределенностью и энтропией. В этом разделе Шеннон вводит H-функцию следующего вида:

{\ Displaystyle Н = -К \ сумма _ {я = 1} ^ {к} р (я) \ журнал р (я),}

где K - положительная постоянная. Затем Шеннон заявляет, что «любая величина этой формы, где K просто означает выбор единицы измерения, играет центральную роль в теории информации как меры информации, выбора и неопределенности». Затем, в качестве примера того, как это выражение применяется в ряде различных областей, он ссылается на « Принципы статистической механики» Р.К. Толмена 1938 года , утверждая, что «форма H будет признана формой энтропии, как это определено в некоторых формулировках статистической механики, где p _i - это вероятность того, что система окажется в ячейке i своего фазового пространства… Тогда H - это, например, H в знаменитой H-теореме Больцмана » . Таким образом, за последние пятьдесят лет, с тех пор, как было сделано это заявление, люди дублировали эти две концепции или даже заявляли, что они абсолютно одинаковы.

Информационная энтропия Шеннона - гораздо более общее понятие, чем статистическая термодинамическая энтропия. Информационная энтропия присутствует всякий раз, когда есть неизвестные величины, которые можно описать только распределением вероятностей. В серии статей Э.Т. Джейнса, начиная с 1957 года, статистическую термодинамическую энтропию можно рассматривать как просто частное приложение информационной энтропии Шеннона к вероятностям определенных микросостояний системы, возникающих с целью создания определенного макросостояния.

Энтропия луча

Случайность пространства луча беспроводных каналов MIMO, например сотовых каналов 3GPP 5G, была охарактеризована с использованием одного параметра « Энтропия луча» . Это облегчает выбор алгоритмов обучения разреженных каналов MIMO в пространстве луча.

Пересечение терминологии

Когда необходимо, чтобы устранить неоднозначность между статистической термодинамической концепцией энтропии и энтропийными формулами, выдвинутыми разными исследователями, статистическую термодинамическую энтропию наиболее правильно называть энтропией Гиббса . Термины Больцмана-Гиббса энтропии или Б. энтропии и Больцмана-Гиббса-Шеннона энтропии или БГС энтропии также рассматриваются в литературе.

Languages

In other projects