Машина Больцмана - Boltzmann machine

Графическое изображение примера машины Больцмана. Каждое неориентированное ребро представляет зависимость. В этом примере есть 3 скрытых блока и 4 видимых блока. Это не ограниченная машина Больцмана.

Больцман машина (также называется стохастической сети Хопфилда со скрытыми единицами или Шеррингтон-Киркпатрика модели с внешним полем или стохастической Изинга-Ленца-модели Литтла ) представляет собой тип стохастической рекуррентной нейронной сети . Это марковское случайное поле . Он был переведен из статистической физики для использования в когнитивной науке . Машина Больцмана основана на стохастической модели спинового стекла с внешним полем, то есть на модели Шеррингтона – Киркпатрика, которая является стохастической моделью Изинга и применяется к машинному обучению.

Машины Больцмана теоретически интригуют из-за локальности и хеббской природы их алгоритмов обучения (обучаются по правилу Хебба), а также из-за их параллелизма и сходства их динамики с простыми физическими процессами . Машины Больцмана с неограниченной связью не оказались полезными для практических задач в машинном обучении или логическом выводе, но если возможность подключения должным образом ограничена, обучение может быть достаточно эффективным, чтобы быть полезным для практических задач.

Они названы в честь распределения Больцмана в статистической механике , которое используется в их функции выборки . По этой причине их называют « энергетическими моделями » (EBM). Их активно популяризировали и продвигали Джеффри Хинтон , Терри Сейновски и Ян ЛеКун в сообществах когнитивных наук и в области машинного обучения .

Состав

Графическое изображение машины Больцмана с несколькими обозначенными весами. Каждое неориентированное ребро представляет зависимость и имеет весовой коэффициент . В этом примере есть 3 скрытых объекта (синие) и 4 видимых объекта (белые). Это не ограниченная машина Больцмана.${\ displaystyle w_ {ij}}$

Машина Больцмана, как и сеть Хопфилда , представляет собой сеть единиц с «энергией» ( гамильтонианом ), определенной для всей сети. Его единицы дают двоичные результаты. В отличие от сетей Хопфилда, машины Больцмана являются стохастическими . Глобальная энергия в машине Больцмана идентична по форме сетям Хопфилда и моделям Изинга : ${\ displaystyle E}$

${\ displaystyle E = - \ left (\ sum _ {i <j} w_ {ij} \, s_ {i} \, s_ {j} + \ sum _ {i} \ theta _ {i} \, s_ { Я прав)}$

Где:

• ${\ displaystyle w_ {ij}}$сила связи между блоком и блоком .${\ displaystyle j}$${\ displaystyle i}$
• ${\ displaystyle s_ {i}}$состояние ,, единицы .${\ displaystyle s_ {i} \ in \ {0,1 \}}$${\ displaystyle i}$
• ${\ displaystyle \ theta _ {я}}$- смещение единицы в глобальной энергетической функции. ( это порог активации для устройства.)${\ displaystyle i}$${\ displaystyle - \ theta _ {i}}$

Часто веса представлены в виде симметричной матрицы с нулями по диагонали. ${\ displaystyle w_ {ij}}$${\ displaystyle W = [w_ {ij}]}$

Вероятность состояния единицы

Разница в глобальной энергии, которая возникает из-за того, что единичная единица равна 0 (выкл.) По сравнению с 1 (вкл.) , Записанная с учетом симметричной матрицы весов, определяется как: ${\ displaystyle i}$${\ displaystyle \ Delta E_ {i}}$

${\ displaystyle \ Delta E_ {i} = \ sum _ {j> i} w_ {ij} \, s_ {j} + \ sum _ {j <i} w_ {ji} \, s_ {j} + \ theta _{я}}$

Это можно выразить как разность энергий двух состояний:

${\ displaystyle \ Delta E_ {i} = E _ {\ text {i = off}} - E _ {\ text {i = on}}}$

Подстановка энергии каждого состояния на его относительную вероятность в соответствии с фактором Больцмана (свойство распределения Больцмана , согласно которому энергия состояния пропорциональна отрицательной логарифмической вероятности этого состояния) дает:

${\ displaystyle \ Delta E_ {i} = - k_ {B} \, T \ ln (p _ {\ text {i = off}}) - (- k_ {B} \, T \ ln (p _ {\ text { i = on}}))}$

где - постоянная Больцмана, поглощенная искусственным понятием температуры . Затем мы переставляем термины и считаем, что вероятности включения и выключения устройства должны в сумме равняться единице: ${\ displaystyle k_ {B}}$${\ displaystyle T}$

${\ displaystyle {\ frac {\ Delta E_ {i}} {T}} = \ ln (p _ {\ text {i = on}}) - \ ln (p _ {\ text {i = off}})}$

${\ displaystyle {\ frac {\ Delta E_ {i}} {T}} = \ ln (p _ {\ text {i = on}}) - \ ln (1-p _ {\ text {i = on}}) }$

${\ displaystyle {\ frac {\ Delta E_ {i}} {T}} = \ ln \ left ({\ frac {p _ {\ text {i = on}}} {1-p _ {\ text {i = on) }}}}\Правильно)}$

${\ displaystyle - {\ frac {\ Delta E_ {i}} {T}} = \ ln \ left ({\ frac {1-p _ {\ text {i = on}}} {p _ {\ text {i = на правом)}$

${\ displaystyle - {\ frac {\ Delta E_ {i}} {T}} = \ ln \ left ({\ frac {1} {p _ {\ text {i = on}}}} - 1 \ right)}$

${\ displaystyle \ exp \ left (- {\ frac {\ Delta E_ {i}} {T}} \ right) = {\ frac {1} {p _ {\ text {i = on}}}} - 1}$

Решая для , вероятность того, что -й блок включен, дает: ${\ displaystyle p _ {\ text {i = on}}}$${\ displaystyle i}$

${\ displaystyle p _ {\ text {i = on}} = {\ frac {1} {1+ \ exp (- {\ frac {\ Delta E_ {i}} {T}})}}}$

где скаляр называется температурой системы. Это отношение является источником логистической функции, найденной в вероятностных выражениях в вариантах машины Больцмана. ${\ displaystyle T}$

Состояние равновесия

Сеть работает путем многократного выбора устройства и сброса его состояния. После достаточно долгой работы при определенной температуре вероятность глобального состояния сети зависит только от энергии этого глобального состояния в соответствии с распределением Больцмана , а не от начального состояния, из которого был запущен процесс. Это означает, что логарифмические вероятности глобальных состояний становятся линейными по своей энергии. Это соотношение верно, когда машина находится «в тепловом равновесии », что означает, что распределение вероятностей глобальных состояний сходится. При запуске сети, начиная с высокой температуры, ее температура постепенно снижается до достижения теплового равновесия при более низкой температуре. Затем он может сходиться к распределению, в котором уровень энергии колеблется около глобального минимума. Этот процесс называется искусственным отжигом .

Чтобы обучить сеть так, чтобы вероятность ее схождения к глобальному состоянию в соответствии с внешним распределением по этим состояниям, необходимо установить так, чтобы глобальные состояния с наивысшими вероятностями получали наименьшую энергию. Это делается тренировкой.

Обучение

Единицы в машине Больцмана делятся на «видимые» единицы, V, и «скрытые» единицы, H. Видимые единицы - это те, которые получают информацию из «окружающей среды», т.е. обучающий набор представляет собой набор двоичных векторов над множество V. Обозначено распределение по обучающей выборке . ${\ Displaystyle P ^ {+} (V)}$

Распределение по глобальным состояниям сходится, когда машина Больцмана достигает теплового равновесия . Мы обозначаем это распределение после того, как мы маргинализируем его по скрытым единицам, как . ${\ Displaystyle P ^ {-} (V)}$

Наша цель - приблизить "реальное" распределение, используя произведенное машиной. Сходство двух распределений измеряются дивергенцией Кульбаки-Лейблер , : ${\ Displaystyle P ^ {+} (V)}$${\ Displaystyle P ^ {-} (V)}$${\ displaystyle G}$

${\ Displaystyle G = \ сумма _ {v} {P ^ {+} (v) \ ln \ left ({\ frac {P ^ {+} (v)} {P ^ {-} (v)}} \ Правильно)}}$

где сумма берется по всем возможным состояниям . является функцией весов, поскольку они определяют энергию состояния, а энергия определяется , как и обещано распределением Больцмана. Градиентный спуск над алгоритмом , изменяет заданную массу, путем вычитания частной производной по отношению к весу. ${\ displaystyle V}$${\ displaystyle G}$${\ Displaystyle P ^ {-} (v)}$${\ displaystyle G}$${\ displaystyle w_ {ij}}$${\ displaystyle G}$

Тренировка на машине Больцмана включает в себя две чередующиеся фазы. Одна из них - это «положительная» фаза, когда состояния видимых блоков ограничиваются конкретным двоичным вектором состояния, выбранным из обучающего набора (согласно ). Другой - «отрицательная» фаза, когда сети разрешено работать свободно, то есть ни одно устройство не имеет своего состояния, определяемого внешними данными. Градиент по отношению к заданному весу задается уравнением: ${\ Displaystyle P ^ {+}}$${\ displaystyle w_ {ij}}$

${\ displaystyle {\ frac {\ partial {G}} {\ partial {w_ {ij}}}} = - {\ frac {1} {R}} [p_ {ij} ^ {+} - p_ {ij} ^ {-}]}$

куда:

• ${\ displaystyle p_ {ij} ^ {+}}$- вероятность того, что оба устройства i и j включены, когда машина находится в состоянии равновесия на положительной фазе.
• ${\ displaystyle p_ {ij} ^ {-}}$это вероятность того, что оба устройства i и j включены, когда машина находится в состоянии равновесия на отрицательной фазе.
• ${\ displaystyle R}$ обозначает скорость обучения

Этот результат следует из того факта, что при тепловом равновесии вероятность любого глобального состояния, когда сеть находится в автономном режиме, дается распределением Больцмана. ${\ Displaystyle P ^ {-} (s)}$${\ displaystyle s}$

Это правило обучения биологически правдоподобно, потому что единственная информация, необходимая для изменения веса, обеспечивается «местной» информацией. То есть соединение ( синапс , биологически) не требует информации ни о чем, кроме двух нейронов, которые оно соединяет. Это более биологически реалистично, чем информация, необходимая для соединения во многих других алгоритмах обучения нейронных сетей, таких как обратное распространение .

При обучении машины Больцмана не используется алгоритм EM , который широко используется в машинном обучении . Минимизация KL-дивергенции эквивалентна максимизации логарифмической вероятности данных. Следовательно, процедура обучения выполняет градиентное восхождение на логарифмической вероятности наблюдаемых данных. Это отличается от алгоритма EM, где апостериорное распределение скрытых узлов должно быть вычислено до максимизации ожидаемого значения правдоподобия полных данных во время M-шага.

Обучение смещений аналогично, но использует только активность одного узла:

${\ displaystyle {\ frac {\ partial {G}} {\ partial {\ theta _ {i}}}} = - {\ frac {1} {R}} [p_ {i} ^ {+} - p_ { i} ^ {-}]}$

Проблемы

Теоретически машина Больцмана представляет собой довольно общую вычислительную среду. Например, при обучении работе с фотографиями машина теоретически смоделирует распределение фотографий и может использовать эту модель, например, для завершения частичной фотографии.

К сожалению, машины Больцмана сталкиваются с серьезной практической проблемой, а именно: они перестают правильно обучаться, когда машина масштабируется до чего-то большего, чем тривиальный размер. Это связано с важными эффектами, а именно:

• требуемый временной порядок для сбора статистики равновесия экспоненциально растет с размером машины и с величиной силы соединения
• сила соединения более пластична, когда у соединенных единиц вероятность активации находится между нулем и единицей, что приводит к так называемой ловушке отклонения. В конечном итоге из-за шума сила соединения будет следовать случайному блужданию до тех пор, пока активность не станет насыщенной.

Типы

Ограниченная машина Больцмана

Графическое представление ограниченной машины Больцмана. Четыре синих блока представляют скрытые блоки, а три красных блока представляют видимые состояния. В ограниченных машинах Больцмана есть только связи (зависимости) между скрытыми и видимыми модулями, и нет соединений между модулями одного и того же типа (нет скрытых-скрытых или видимых-видимых соединений).

Хотя обучение в машинах Больцмана в целом непрактично, его можно сделать достаточно эффективным в ограниченной машине Больцмана (RBM), которая не допускает внутрислойных связей между скрытыми и видимыми блоками, т.е. нет связи между видимыми и видимыми и скрытыми для скрытых блоков. . После обучения одного RBM действия его скрытых блоков можно рассматривать как данные для обучения RBM более высокого уровня. Этот метод объединения RBM позволяет эффективно обучать многие уровни скрытых модулей и является одной из наиболее распространенных стратегий глубокого обучения . По мере добавления каждого нового слоя генеративная модель улучшается.

Расширение ограниченной машины Больцмана позволяет использовать вещественные данные, а не двоичные данные.

Одним из примеров практического применения RBM является распознавание речи.

Глубокая машина Больцмана

Глубокая машина Больцмана (DBM) - это тип двоичного попарного марковского случайного поля ( неориентированная вероятностная графическая модель ) с несколькими слоями скрытых случайных величин . Это сеть симметрично связанных стохастических двоичных единиц . Он состоит из набора видимых единиц и слоев скрытых единиц . Никакие соединения не связывают блоки одного уровня (например, RBM ). Для DBM вероятность, присвоенная вектору ν, равна ${\ displaystyle {\ boldsymbol {\ nu}} \ in \ {0,1 \} ^ {D}}$${\ displaystyle {\ boldsymbol {h}} ^ {(1)} \ in \ {0,1 \} ^ {F_ {1}}, {\ boldsymbol {h}} ^ {(2)} \ in \ { 0,1 \} ^ {F_ {2}}, \ ldots, {\ boldsymbol {h}} ^ {(L)} \ in \ {0,1 \} ^ {F_ {L}}}$

${\ displaystyle p ({\ boldsymbol {\ nu}}) = {\ frac {1} {Z}} \ sum _ {h} e ^ {\ sum _ {ij} W_ {ij} ^ {(1)} \ nu _ {i} h_ {j} ^ {(1)} + \ sum _ {jl} W_ {jl} ^ {(2)} h_ {j} ^ {(1)} h_ {l} ^ {( 2)} + \ sum _ {lm} W_ {lm} ^ {(3)} h_ {l} ^ {(2)} h_ {m} ^ {(3)}},}$

где - набор скрытых единиц, и - параметры модели, представляющие видимые-скрытые и скрытые-скрытые взаимодействия. В DBN только два верхних уровня образуют ограниченную машину Больцмана (которая является неориентированной графической моделью ), в то время как нижние уровни образуют направленную генеративную модель. В DBM все слои симметричны и неориентированы. ${\ displaystyle {\ boldsymbol {h}} = \ {{\ boldsymbol {h}} ^ {(1)}, {\ boldsymbol {h}} ^ {(2)}, {\ boldsymbol {h}} ^ { (3)} \}}$${\ displaystyle \ theta = \ {{\ boldsymbol {W}} ^ {(1)}, {\ boldsymbol {W}} ^ {(2)}, {\ boldsymbol {W}} ^ {(3)} \ }}$

Подобно DBN , DBM могут изучать сложные и абстрактные внутренние представления входных данных в таких задачах, как распознавание объектов или речи , используя ограниченные помеченные данные для точной настройки представлений, построенных с использованием большого набора немаркированных сенсорных входных данных. Однако, в отличие от DBN и глубоких сверточных нейронных сетей , они выполняют процедуру вывода и обучения в обоих направлениях, снизу вверх и сверху вниз, что позволяет DBM лучше раскрывать представления входных структур.

Однако низкая скорость DBM ограничивает их производительность и функциональность. Поскольку точное обучение методом максимального правдоподобия невозможно для DBM, возможно только приблизительное обучение по методу максимального правдоподобия. Другой вариант - использовать вывод среднего поля для оценки ожиданий, зависящих от данных, и аппроксимировать ожидаемую достаточную статистику с помощью цепи Маркова Монте-Карло (MCMC). Этот приблизительный вывод, который необходимо делать для каждого входного теста, примерно в 25-50 раз медленнее, чем один восходящий проход в DBM. Это делает совместную оптимизацию непрактичной для больших наборов данных и ограничивает использование DBM для таких задач, как представление функций.

RBM с шипами и плитами

Потребность в глубоком обучении с реальными входными данными, как в гауссовских RBM, привела к RBM с пиковыми значениями ( ss RBM ), который моделирует входные данные с непрерывными значениями с двоичными скрытыми переменными . Подобно базовым RBM и его вариантам, RBM с шипами и пластинами является двудольным графом , в то время как, как и GRBM , видимые единицы (входные данные) являются действительными. Разница заключается в скрытом слое, где каждый скрытый блок имеет двоичную переменную пика и переменную плиты с действительным знаком. Пик - это дискретная вероятностная масса в нуле, а плита - это плотность в непрерывной области; их смесь образует априор .

Расширение ss RBM, называемое µ-ss RBM, обеспечивает дополнительные возможности моделирования с использованием дополнительных членов в функции энергии . Один из этих терминов позволяет модели формировать условное распределение пиковых переменных , исключая переменные плиты с учетом наблюдения.

История

Машина Больцмана основана на спин-стеклянной модели стохастической модели Изинга Шеррингтона-Киркпатрика .

Оригинальный вклад в применение таких моделей, основанных на энергии, в когнитивной науке появился в статьях Хинтона и Сейновски.

Основополагающая публикация Джона Хопфилда соединила физику и статистическую механику, упомянув спиновые стекла.

Идея применения модели Изинга с отожженной выборки Гиббса присутствует в Хофштадтер «ы Имитатор проекта.

Подобные идеи (с изменением знака в энергетической функции) можно найти в «Теории гармонии» Павла Смоленского .

Явная аналогия, проведенная со статистической механикой в ​​формулировке машины Больцмана, привела к использованию терминологии, заимствованной из физики (например, «энергия», а не «гармония»), которая стала стандартом в этой области. Широкому распространению этой терминологии, возможно, способствовал тот факт, что ее использование привело к заимствованию множества концепций и методов из статистической механики. Различные предложения использовать имитацию отжига для вывода, по-видимому, независимы.

Модели Изинга стали рассматриваться как частный случай марковских случайных полей , которые находят широкое применение в лингвистике , робототехнике , компьютерном зрении и искусственном интеллекте .

Смотрите также

• Ограниченная машина Больцмана
• Марковское случайное поле
• Модель Изинга
• Сеть Хопфилда
• Обучение правило , которое использует условную «локальная» информация может быть получена из обратимой формы ,${\ displaystyle G}$

${\ displaystyle G '= \ sum _ {v} {P ^ {-} (v) \ ln \ left ({\ frac {P ^ {-} (v)} {P ^ {+} (v)}} \Правильно)}}$.

использованная литература

1. https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf

дальнейшее чтение

• Хинтон, GE ; Сейновски, Т.Дж. (1986). DE Rumelhart; JL McClelland (ред.). «Обучение и повторное обучение в машинах Больцмана» (PDF) . Параллельная распределенная обработка: исследования микроструктуры познания. Том 1: Основы : 282–317. Архивировано из оригинального (PDF) 05.07.2010.
• Хинтон, GE (2002). «Продукты обучения экспертов путем минимизации противоречивой расхождения» (PDF) . Нейронные вычисления . 14 (8): 1771–1800. CiteSeerX  10.1.1.35.8613 . DOI : 10.1162 / 089976602760128018 . PMID  12180402 . S2CID  207596505 .
• Хинтон, GE ; Osindero, S .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF) . Нейронные вычисления . 18 (7): 1527–1554. CiteSeerX  10.1.1.76.1541 . DOI : 10.1162 / neco.2006.18.7.1527 . PMID  16764513 . S2CID  2309950 .

внешние ссылки

• Статья Хинтона в Scholarpedia о машинах Больцмана
• Talk at Google Джеффри Хинтона