Алгоритм бодрствования-сна - Wake-sleep algorithm

Слои нейронной сети. R, G - веса, используемые алгоритмом пробуждения-сна для изменения данных внутри слоев.

Алгоритм бодрствование-сон является неконтролируемым обучением алгоритма для стохастической многослойной нейронной сети . Алгоритм регулирует параметры, чтобы получить хорошую оценку плотности. Есть две фазы обучения, фаза «бодрствования» и фаза «сна», которые выполняются поочередно. Впервые он был разработан как модель функционирования мозга с использованием вариационного байесовского обучения . После этого алгоритм адаптировали под машинное обучение . Это можно рассматривать как способ тренировки Машины Гельмгольца . Его также можно использовать в Deep Belief Networks (DBN) .

Описание

Алгоритм пробуждения-сна визуализируется как стек слоев, содержащих представления данных. Слои выше представляют данные из слоя ниже. Фактические данные размещаются под нижним слоем, в результате чего слои над ним постепенно становятся более абстрактными. Между каждой парой слоев есть вес распознавания и генеративный вес, которые обучаются для повышения надежности во время выполнения алгоритма.

Алгоритм бодрствования-сна является сходящимся и может быть стохастическим, если его соответствующим образом чередовать.

Подготовка

Тренировка состоит из двух фаз - фазы «бодрствования» и фазы «сна».

Фаза "пробуждения"

Нейроны запускаются соединениями распознавания (от того, что будет входить до того, что будет получено). Генеративные связи (ведущие от выходов к входам) затем модифицируются, чтобы повысить вероятность того, что они воссоздают правильную активность на нижнем уровне - ближе к фактическим данным из сенсорного ввода.

Фаза «сна»

В фазе «сна» процесс обратный - нейроны активируются генеративными связями, в то время как распознающие связи модифицируются, чтобы повысить вероятность того, что они воссоздают правильную активность в верхнем слое - в дополнение к фактическим данным из сенсорного ввода.

Возможные риски

Вариационное байесовское обучение основано на вероятностях . Существует вероятность того, что приближение выполняется с ошибками, что повредит дальнейшее представление данных. Другой недостаток относится к сложным или искаженным выборкам данных, что затрудняет вывод репрезентативного паттерна.

Было высказано предположение, что алгоритм бодрствования-сна не является достаточно мощным для уровней сети вывода, чтобы восстановить хорошую оценку апостериорного распределения скрытых переменных.

Смотрите также

использованная литература

  1. ^ Хинтон, Джеффри Э .; Даян, Питер ; Фрей, Брендан Дж .; Нил, Рэдфорд (1995-05-26). «Алгоритм бодрствования-сна для неконтролируемых нейронных сетей» . Наука . 268 (5214): 1158–1161. Bibcode : 1995Sci ... 268.1158H . DOI : 10.1126 / science.7761831 . PMID   7761831 . S2CID   871473 .
  2. ^ Фрей, Брендан Дж .; Хинтон, Джеффри Э .; Даян, Питер (1996-05-01). "Дает ли алгоритм бодрствования-сна хорошие оценки плотности?" (PDF) . Достижения в системах обработки нейронной информации.
  3. ^ Катаяма, Кацуки; Андо, Масатака; Хоригути, Цуёси (01.04.2004). «Модели областей MT и MST с использованием алгоритма бодрствования-сна». Нейронные сети . 17 (3): 339–351. DOI : 10.1016 / j.neunet.2003.07.004 . PMID   15037352 .
  4. ^ Хинтон, Джеффри Э .; Даян, Питер ; Фрей, Брендан Дж .; Нил, Рэдфорд (1995-05-26). «Алгоритм пробуждения-сна для неконтролируемых нейронных сетей» . Наука . 268 (5214): 1158–1161. Bibcode : 1995Sci ... 268.1158H . DOI : 10.1126 / science.7761831 . PMID   7761831 . S2CID   871473 .
  5. ^ Даян, Питер ; Хинтон, Джеффри Э. (1996-11-01). «Разновидности машины Гельмгольца». Нейронные сети . Четыре основные гипотезы в неврологии. 9 (8): 1385–1403. CiteSeerX   10.1.1.29.1677 . DOI : 10.1016 / S0893-6080 (96) 00009-3 . PMID   12662541 .
  6. ^ Maei Хамид Реза (2007-01-25). «Алгоритм бодрствования-сна для репрезентативного обучения» . Монреальский университет . Проверено 1 ноября 2011 .
  7. ^ Нил, Рэдфорд М .; Даян, Питер (1996-11-24). «Факторный анализ с использованием дельта-правил обучения бодрствованию и сну» (PDF) . Университет Торонто . Проверено 1 ноября 2015 .
  8. ^ Икеда, Широ; Амари, Шун-ичи; Накахара, Хироюки. «Сходимость алгоритма пробуждения и сна» (PDF) . Институт статистической математики . Проверено 1 ноября 2015 .
  9. ^ Dalzell, RWH; Мюррей, AF (1999-01-01). «Каркас для дискретнозначной машины Гельмгольца» . 9-я Международная конференция по искусственным нейронным сетям: ICANN '99 . 1 . С. 49–54 т.1. DOI : 10.1049 / ф: 19991083 . ISBN   0-85296-721-7 .
  10. ^ Хинтон, Джеффри; Даян, Питер ; Фрей, Брендан Дж; Нил, Рэдфорд М. (1995-04-03). «Алгоритм пробуждения-сна для неконтролируемых нейронных сетей» (PDF) . PMID   7761831 . Проверено 1 ноября 2015 . Цитировать журнал требует |journal= ( помощь )
  11. ^ Даян, Питер . «Машины Гельмгольца и обучение во сне» (PDF) . Проверено 1 ноября 2015 .
  12. ^ Bornschein, Jörg; Бенжио, Йошуа (10.06.2014). «Обновленный сон-бодрствование». arXiv : 1406.2751 [ cs.LG ].