Нейронная машина Тьюринга - Neural Turing machine
Neural машина Тьюринга ( НТМ ) является рецидивирующий нейронной сети модель. Подход был опубликован Alex Graves et al. в 2014 году. НТМ сочетают в себе возможности нейронных сетей нечеткого сопоставления шаблонов с алгоритмической мощностью программируемых компьютеров . NTM имеет контроллер нейронной сети, связанный с внешними ресурсами памяти , с которыми он взаимодействует через механизмы внимания. Взаимодействия с памятью дифференцируются от начала до конца, что позволяет оптимизировать их с помощью градиентного спуска . NTM с сетевым контроллером с долговременной краткосрочной памятью (LSTM) может выводить простые алгоритмы, такие как копирование, сортировка и ассоциативный вызов, только на основе примеров.
Авторы оригинальной статьи NTM не публиковали свой исходный код . Первая стабильная реализация с открытым исходным кодом была опубликована в 2018 году на 27-й Международной конференции по искусственным нейронным сетям, получив награду за лучшую статью. Существуют и другие реализации НТМ с открытым исходным кодом, но они недостаточно стабильны для промышленного использования. Разработчики либо сообщают, что градиенты их реализации иногда становятся NaN во время обучения по неизвестным причинам и приводят к сбою в обучении; сообщить о медленной сходимости; или не сообщайте о скорости обучения их реализации.
Дифференцируемые нейронные компьютеры являются результатом нейронных машин Тьюринга с механизмами внимания, которые контролируют, где активна память, и повышают производительность.
Смотрите также
- Рекуррентная нейронная сеть
- Алекс Грейвс (ученый-компьютерщик)
- Машина Тьюринга
- Дифференцируемое программирование