Персептроны (книга) - Perceptrons (book)

Персептроны: введение в вычислительную геометрию
Автор Марвин Мински , Сеймур Пейперт
Дата публикации
 1969 г.
ISBN 0 262 13043 2

Персептроны: введение в вычислительную геометрию - это книга, написанная Марвином Мински и Сеймуром Папертом и опубликованная в 1969 году. Издание с рукописными исправлениями и дополнениями было выпущено в начале 1970-х годов. В 1987 году было опубликовано расширенное издание, содержащее главу, посвященную противодействию критике, высказанной в ее адрес в 1980-х годах.

Основная тема книги - перцептрон , разновидность искусственной нейронной сети, разработанная в конце 1950-х - начале 1960-х годов. Книга была посвящена психологу Фрэнку Розенблатту , который в 1957 году опубликовал первую модель «персептрона». Розенблатт и Мински знали друг друга с подросткового возраста, обучаясь с разницей в один год в Высшей школе естественных наук Бронкса . В какой-то момент они стали центральными фигурами дискуссии внутри исследовательского сообщества ИИ и, как известно, способствовали громким обсуждениям на конференциях, но оставались дружелюбными.

Эта книга является центром давних споров в области изучения искусственного интеллекта . Утверждается, что пессимистические прогнозы, сделанные авторами, были ответственны за изменение направления исследований в области ИИ, сосредоточив усилия на так называемых «символических» системах, направление исследований, которое прекратилось и способствовало так называемой « зиме ИИ». 1980-х годов, когда обещания AI не были реализованы.

Суть перцептронов - это ряд математических доказательств, которые признают некоторые сильные стороны перцептронов, но при этом показывают серьезные ограничения. Самый важный из них связан с вычислением некоторых предикатов, таких как функция XOR, а также важного предиката связности. Проблема связности проиллюстрирована на неудобно раскрашенной обложке книги, призванной показать, как люди сами сталкиваются с трудностями при вычислении этого предиката.

Функция XOR не может быть изучена одним нейроном с использованием функций активации Swish, Mish, ReLU, Leaky ReLU, логистической сигмоидной и желтовато-сигмоидной активации. Однако функцию XOR можно изучить, используя один нейрон с функциями осцилляторной активации, такими как активация единицы растущего косинуса (GCU). Использование осцилляторных функций активации позволяет даже отдельным нейронам иметь нелинейные границы принятия решений.

Фон

Персептроном является нейронной сетью , разработанный психолог Розенблаттом в 1958 году и является одним из самых известных машин своего времени. В 1960 году Розенблатт и его коллеги смогли показать, что перцептрон может за конечное число тренировочных циклов изучить любую задачу, которую могут воплотить его параметры. Теорема о сходимости персептрона доказана для однослойных нейронных сетей.

В этот период исследования нейронных сетей были основным подходом к проблеме мозг-машина, которым воспользовалось значительное количество людей. В сообщениях New York Times и заявлениях Розенблатта утверждалось, что нейронные сети скоро смогут видеть изображения, побеждать людей в шахматах и воспроизводить их. В то же время появились новые подходы, включая символический ИИ . Различные группы оказались в конкурентной борьбе за финансирование и людей, и их спрос на вычислительные мощности намного превышал доступное предложение.

СОДЕРЖАНИЕ

Персептроны: Введение в вычислительную геометрию - это книга из тринадцати глав, сгруппированных в три раздела. В главах 1–10 представлена ​​теория персептронов авторов посредством доказательств, в главе 11 рассматривается обучение, в главе 12 рассматриваются проблемы линейного разделения, а в главе 13 обсуждаются некоторые мысли авторов о простых и многослойных персептронах и распознавании образов.

Определение перцептрона

Мински и Паперт взяли в качестве своего предмета абстрактные версии класса обучающих устройств, которые они назвали перцептронами, «в знак признания новаторской работы Фрэнка Розенблатта». Эти перцептроны были модифицированными формами перцептронов, введенных Розенблаттом в 1958 году. Они состояли из сетчатки, одного слоя входных функций и одного выходного.

Помимо этого, авторы ограничили «порядок» или максимальное количество входящих соединений своих перцептронов. Социолог Микель Олазаран объясняет, что Мински и Паперт «утверждали, что интерес к нейронным вычислениям возник из того факта, что это параллельная комбинация локальной информации», которая, чтобы быть эффективной, должна была быть простым вычислением. Для авторов это означало, что «каждая ассоциативная единица могла получать соединения только из небольшой части входной области». Мински и Паперт назвали это понятие «конъюнктивная локальность».

Четность и связанность

Два основных примера, проанализированных авторами, - это паритетность и связность. Четность включает определение того, является ли количество активированных входов на входной сетчатке четным или нечетным, а связность относится к проблеме « фигура-земля» . Мински и Паперт доказали, что однослойный перцептрон не может вычислять четность в условиях конъюнктивной локальности, и показали, что порядок, необходимый персептрону для вычисления связности, становится непрактично большим.

Дело XOR

Некоторые критики книги заявляют, что авторы подразумевают, что, поскольку отдельный искусственный нейрон неспособен реализовать некоторые функции, такие как логическая функция XOR , более крупные сети также имеют аналогичные ограничения, и поэтому от них следует отказаться. Исследования трехслойных перцептронов показали, как реализовать такие функции. Розенблатт в своей книге доказал, что простейший персептрон с априори неограниченным количеством А-элементов (нейронов) скрытого слоя и одним выходным нейроном может решить любую задачу классификации. (Теорема существования.) Мински и Паперт использовали персептроны с ограниченным числом входов А-элементов скрытого слоя и условием локальности: каждый элемент скрытого слоя получает входные сигналы от маленького круга. Эти ограниченные перцептроны не могут определить, является ли изображение связанной фигурой или равно количеству пикселей в изображении (предикат четности).

В этой истории много ошибок. Хотя на самом деле один нейрон может вычислить лишь небольшое количество логических предикатов, было широко известно, что сети из таких элементов могут вычислять любую возможную логическую функцию . Об этом знали Уоррен Маккалок и Уолтер Питтс , которые даже предложили, как создать машину Тьюринга с их формальными нейронами, упоминается в книге Розенблатта и даже упоминается в книге Персептроны. Мински также широко использует формальные нейроны для создания простых теоретических компьютеров в своей книге « Вычисления: конечные и бесконечные машины» .

Книга действительно доказывает, что в трехуровневых перцептронах с прямой связью (с так называемым «скрытым» или «промежуточным» слоем) невозможно вычислить некоторые предикаты, если хотя бы один из нейронов первого слоя нейронов («промежуточный» слой) связан с ненулевым весом для каждого входа. Это противоречило надежде некоторых исследователей полагаться в основном на сети с несколькими слоями «локальных» нейронов, каждый из которых подключен только к небольшому количеству входов. Машину прямой связи с «локальными» нейронами гораздо проще построить и использовать, чем большую, полностью связанную нейронную сеть, поэтому исследователи в то время сосредоточились на них, а не на более сложных моделях.

Некоторые другие критики, в первую очередь Джордан Поллак, отмечают, что то, что было небольшим доказательством того, что глобальная проблема (паритет) не обнаруживается локальными детекторами, было интерпретировано сообществом как довольно успешная попытка похоронить всю идею.

Единое нейронное решение проблемы XOR

Неспособность одного персептрона изучить функцию XOR рассматривалась как фундаментальное ограничение нейронных сетей и привела к перерыву в исследованиях нейронных сетей. Одиночный нейрон, использующий любую из популярных функций активации, таких как Swish, Mish, ReLU, Leaky ReLU, logistic-sigmoid или tan-sigmoid, не может изучить функцию XOR. Однако отдельный нейрон с осцилляторными функциями активации, такими как активация единицы растущего косинуса (GCU), может изучить функцию XOR. Для функций активации, которые монотонно возрастают и выводят нулевое значение в начале координат, граница решения представляет собой одну гиперплоскость. Однако колебательные функции активации могут иметь много нулей и, следовательно, могут иметь несколько гиперплоскостей в качестве границ решения, позволяющих решить проблему XOR с одним нейроном. На рисунке ниже показан один нейрон GCU, который точно изучил функцию XOR.

Один нейрон GCU может изучить функцию XOR. Входы и выходы показанного логического элемента XOR считаются биполярными (то есть +1 или -1).

Персептроны и распознавание образов

В последней главе авторы высказывают мысли о многослойных машинах и перцептронах гамба. Они предполагают, что гамба-машинам потребуется «огромное количество» гамба-масок и что многослойные нейронные сети являются «стерильным» расширением. Кроме того, они отмечают, что многие из «невозможных» проблем для перцептронов уже были решены другими методами.

Прием и наследство

Через несколько лет после публикации перцептроны получили ряд положительных отзывов. В 1969 году профессор Стэнфордского университета Майкл А. Арбиб заявил: «[t] его книга получила широкое признание как новая захватывающая глава в теории распознавания образов». Ранее в том же году профессор CMU Аллен Ньюэлл написал рецензию на книгу для Science , открыв ее словами: «Это великая книга».

С другой стороны, HD Block выразил озабоченность узким определением персептронов авторами. Он утверждал, что они «изучают строго ограниченный класс машин с точки зрения, совершенно чуждой Розенблатту», и поэтому название книги «серьезно вводит в заблуждение». Современные исследователи нейронных сетей разделяют некоторые из этих возражений: Бернард Видроу жаловался, что авторы слишком узко определили перцептроны, но также сказал, что доказательства Мински и Паперта «в значительной степени неуместны», появившись на целое десятилетие после перцептрона Розенблатта.

Перцептроны часто думают, что вызвало снижение нейронной сети исследований в 1970 - х и начале 1980 - х годов. В течение этого периода исследователи нейронных сетей продолжали более мелкие проекты, выходящие за рамки мейнстрима, в то время как исследования символического ИИ переживали бурный рост.

С возрождением коннекционизма в конце 80-х исследователь PDP Дэвид Румелхарт и его коллеги вернулись к персептронам . В отчете 1986 года они утверждали, что преодолели проблемы, представленные Мински и Папертом, и что «их пессимизм в отношении обучения на многослойных машинах был неуместен».

Анализ противоречия

Очень поучительно узнать, что сами Мински и Паперт говорили в 1970-х годах относительно более широкого значения их книги. На своем веб-сайте Харви Коэн, исследователь из лаборатории искусственного интеллекта Массачусетского технологического института 1974+, цитирует Мински и Паперта из отчета 1971 года о проекте MAC, адресованном финансирующим агентствам, о «сетях Гамба»: «Практически ничего не известно о вычислительных возможностях этого Последний вид машины. Мы считаем, что она может сделать немного больше, чем перцептрон низкого порядка ». На предыдущей странице Мински и Пейперт поясняют, что «сети Гамба» - это сети со скрытыми слоями.

Мински сравнил книгу вымышленной книги Некрономикон в HP Lovecraft сказок «s, книги , известный многим, но читать только некоторые из них. В расширенном издании авторы говорят о критике книги, которая началась в 1980-х годах с новой волны исследований, символизируемой книгой PDP .

Как персептроны были исследованы сначала одной группой ученых для стимулирования исследований в области ИИ в одном направлении, а затем новой группой в другом направлении, стало предметом социологического исследования развития науки.

Примечания

использованная литература