Коннекционизм - Connectionism
Коннекционизм - это подход в области когнитивной науки, который пытается объяснить психические явления с помощью искусственных нейронных сетей (ИНС). Коннекционизм представляет когнитивную теорию, основанную на одновременном возникновении распределенной активности сигналов через связи, которые могут быть представлены в числовом виде, где обучение происходит путем изменения силы связи на основе опыта.
Некоторые преимущества коннекционистского подхода включают его применимость к широкому спектру функций, структурное приближение к биологическим нейронам, низкие требования к врожденной структуре и способность к постепенной деградации . Некоторые недостатки включают трудность в расшифровке того, как ИНС обрабатывают информацию или учитывают композиционность ментальных представлений, и, как следствие, сложность объяснения явлений на более высоком уровне.
Успех сетей глубокого обучения за последнее десятилетие значительно увеличил популярность этого подхода, но сложность и масштаб таких сетей привели к увеличению проблем интерпретируемости . Многие считают, что коннекционизм предлагает альтернативу классическим теориям разума, основанным на символических вычислениях, но степень совместимости этих двух подходов была предметом многочисленных споров с момента их появления.
Основные принципы
Центральный принцип коннекционизма состоит в том, что ментальные феномены могут быть описаны взаимосвязанными сетями простых и часто однородных единиц. Форма соединений и агрегатов может варьироваться от модели к модели. Например, единицы в сети могут представлять нейроны, а соединения могут представлять синапсы , как в человеческом мозге .
Активация распространения
В большинстве коннекционистских моделей сети со временем меняются. Тесно связанный и очень распространенный аспект моделей коннекционизма - это активация . В любой момент у объекта в сети есть активация, которая представляет собой числовое значение, предназначенное для представления некоторого аспекта объекта. Например, если единицы в модели - нейроны, активация может представлять вероятность того, что нейрон сгенерирует всплеск потенциала действия . Активация обычно распространяется на все остальные подключенные к нему юниты. Распространение активации всегда является особенностью моделей нейронных сетей и очень часто встречается в моделях коннекционизма, используемых когнитивными психологами .
Нейронные сети
Сегодня нейронные сети являются наиболее часто используемой моделью коннекционистов. Хотя существует множество моделей нейронных сетей, они почти всегда следуют двум основным принципам, касающимся разума:
- Любое психическое состояние можно описать как (N) -мерный вектор числовых значений активации нейронных единиц в сети.
- Память создается за счет изменения силы связей между нейронными единицами. Сильные соединения, или «весы», как правило , представлены в виде N × N матрицы .
Наибольшее разнообразие моделей нейронных сетей связано с:
- Интерпретация единиц : единицы можно интерпретировать как нейроны или группы нейронов.
- Определение активации : активацию можно определить по-разному. Например, в машине Больцмана активация интерпретируется как вероятность генерации всплеска потенциала действия и определяется с помощью логистической функции на сумме входов в единицу.
- Алгоритм обучения : разные сети по-разному изменяют свои соединения. В общем, любое математически определенное изменение весов соединений с течением времени называется «алгоритмом обучения».
Сторонники коннекционизма согласны с тем, что рекуррентные нейронные сети (направленные сети, в которых соединения сети могут образовывать направленный цикл) являются лучшей моделью мозга, чем нейронные сети прямого распространения (направленные сети без циклов, называемые DAG ). Многие рекуррентные коннекционистские модели также включают теорию динамических систем . Многие исследователи, такие как коннекционист Пол Смоленски , утверждали, что коннекционистские модели будут развиваться в сторону полностью непрерывных , многомерных, нелинейных , динамических подходов к системам .
Биологический реализм
Работа коннекционистов в целом не обязательно должна быть биологически реалистичной и поэтому страдает недостатком нейробиологической достоверности. Однако структура нейронных сетей происходит от структуры биологических нейронов , и эта параллель в структуре низкого уровня часто считается преимуществом коннекционизма при моделировании когнитивных структур по сравнению с другими подходами. Одна из областей, в которой коннекционистские модели считаются биологически неправдоподобными, связана с сетями распространения ошибок, которые необходимы для поддержки обучения, но распространение ошибок может объяснить некоторые из биологически генерируемой электрической активности, наблюдаемой на коже черепа в связанных с событиями потенциалах, таких как N400 и P600 , и это обеспечивает некоторую биологическую поддержку одной из ключевых предпосылок коннекционистских процедур обучения.
Обучение
Веса в нейронной сети регулируются в соответствии с некоторым правилом обучения или алгоритмом, например, обучением по Хеббиану . Таким образом, коннекционисты создали множество сложных процедур обучения для нейронных сетей. Обучение всегда включает изменение весов соединений. Как правило, они включают математические формулы для определения изменения весов при заданных наборах данных, состоящих из векторов активации для некоторого подмножества нейронных единиц. Несколько исследований были сосредоточены на разработке методов преподавания и обучения, основанных на коннекционизме.
Формализуя обучение таким образом, у коннекционистов есть много инструментов. Очень распространенная стратегия в методах коннекционистского обучения состоит в том, чтобы включить градиентный спуск по поверхности ошибок в пространстве, определяемом матрицей весов. Все обучение методом градиентного спуска в моделях коннекционизма включает изменение каждого веса на частную производную поверхности ошибки по отношению к весу. Обратное распространение (BP), впервые ставшее популярным в 1980-х годах, вероятно, является наиболее широко известным сегодня алгоритмом коннекционистского градиентного спуска.
Коннекционизм восходит к идеям, возникшим более века назад, которые до середины-конца 20-го века были не более чем спекуляциями.
Параллельная распределенная обработка
Преобладающий сегодня подход коннекционистов изначально был известен как параллельная распределенная обработка (PDP). Это был подход искусственной нейронной сети, который подчеркивал параллельную природу нейронной обработки и распределенную природу нейронных представлений. Он предоставил исследователям общую математическую основу для работы. Она включает восемь основных аспектов:
- Набор единиц обработки , представленный набором целых чисел.
- Активации для каждого блока, представляется вектором зависящих от времени функций .
- Выход функция для каждого блока, представляется вектором функций на активациях.
- Модель связности между единицами, представлено матрицей действительных чисел , указывающих прочность соединения.
- Правило распространения распространяя активаций с помощью соединений, представлены функции на выходе блоков.
- Правило активации для объединения входов в блок , чтобы определить свою новую активацию, представленного в зависимости от текущей активации и распространения.
- Обучения правило для изменения соединений на основе опыта, представлены изменения веса на основе любого числа переменных.
- Среда , которая обеспечивает систему с опытом, представлены наборами векторов активации для некоторого подмножества из единиц.
Многие исследования, которые привели к разработке PDP, были выполнены в 1970-х годах, но PDP стала популярной в 1980-х годах с выпуском книг Parallel Distributed Processing: Explorations in the Microstructure of Cognition - Volume 1 (основы) и Volume 2. (Психологические и биологические модели) , по Джеймс Л. McClelland , David E. Rumelhart и исследовательской группы PDP. Книги теперь считаются основополагающими работами по коннекционизму, и теперь принято полностью приравнивать PDP и коннекционизм, хотя термин «коннекционизм» в книгах не используется. Следуя модели PDP, исследователи теоретизировали системы, основанные на принципах перпендикулярной распределенной обработки (PDP).
Более ранняя работа
Прямыми корнями PDP были теории перцептронов таких исследователей, как Фрэнк Розенблатт, из 1950-х и 1960-х годов. Но модели перцептронов стали очень непопулярными из-за книги Марвина Мински и Сеймура Паперта « Персептроны » , опубликованной в 1969 году. В ней продемонстрированы ограничения на виды функций, которые могут вычислять однослойные (без скрытого слоя) перцептроны, показывая, что даже простые функции, такие как эксклюзивные дизъюнкции (XOR) не могут быть обработаны должным образом. Книги по PDP преодолели это ограничение, показав, что многоуровневые нелинейные нейронные сети были гораздо более надежными и могли использоваться для широкого спектра функций.
Многие ранние исследователи отстаивали модели коннекционистского стиля, например, в 1940-х и 1950-х годах Уоррен Маккаллох и Уолтер Питтс ( нейрон MP ), Дональд Олдинг Хебб и Карл Лэшли . Маккалок и Питтс показали, как нейронные системы могут реализовать логику первого порядка : их классическая статья «Логическое исчисление идей, имманентных нервной деятельности» (1943) важна в этом развитии. На них повлияли важные работы Николая Рашевского 1930-х годов. Хебб внес большой вклад в рассуждения о функционировании нейронов и предложил принцип обучения , обучение по Хеббу , который используется до сих пор. Лэшли выступал за распределенные репрезентации в результате своей неспособности найти что-либо вроде локальной инграммы за годы экспериментов с повреждениями .
Коннекционизм отдельно от PDP
Хотя PDP является доминирующей формой коннекционизма, другие теоретические работы также следует классифицировать как коннекционистские.
Многие принципы коннекционизма можно проследить до ранних работ в психологии , таких как Уильям Джеймс . Психологические теории, основанные на знаниях о человеческом мозге, были в моде в конце 19 века. Еще в 1869 году невролог Джон Хьюлингс Джексон выступал за многоуровневые распределенные системы. Следуя этому руководству, « Принципы психологии» Герберта Спенсера , 3-е издание (1872 г.) и « Проект научной психологии» Зигмунда Фрейда (составленный в 1895 г.) выдвинули теории коннекционизма или протоконнекционизма. Как правило, это были умозрительные теории. Но к началу 20 века Эдвард Торндайк экспериментировал с обучением, основанным на сети коннекционистского типа.
Фридрих Хайек независимо задумал модель обучения синапсов Хебба в статье, представленной в 1920 году, и развил эту модель в теорию глобального мозга, состоящую из сетей синапсов Хебба, встраиваемых в более крупные системы карт и сети памяти. Фрэнк Розенблатт процитировал революционную работу Хайека в своей статье о персептронах.
Другой формой коннекционистской модели была структура реляционной сети, разработанная лингвистом Сиднеем Лэмбом в 1960-х годах. Реляционные сети использовались только лингвистами и никогда не были объединены с подходом PDP. В результате их сейчас используют очень немногие исследователи.
Существуют также гибридные модели коннекционизма, в основном смешивающие символические представления с моделями нейронных сетей. Некоторые исследователи (например, Рон Сан ) отстаивают гибридный подход .
Дискуссия о коннекционизме и вычислительном подходе
Поскольку в конце 1980-х годов коннекционизм становился все более популярным, некоторые исследователи (в том числе Джерри Фодор , Стивен Пинкер и другие) выступили против него. Они утверждали, что развитие коннекционизма грозит уничтожить то, что они считали прогрессом, достигнутым в областях когнитивной науки и психологии классическим подходом вычислительной техники . Компьютационализм - это особая форма когнитивизма, которая утверждает, что умственная деятельность является вычислительной , то есть, что ум действует, выполняя чисто формальные операции с символами, как машина Тьюринга . Некоторые исследователи утверждали, что тенденция к коннекционизму представляет собой возврат к ассоцианизму и отказ от идеи языка мысли , что они считали ошибкой. Напротив, именно эти тенденции сделали коннекционизм привлекательным для других исследователей.
Коннекционизм и вычислительный подход не должны противоречить друг другу, но дебаты в конце 1980-х - начале 1990-х годов привели к противостоянию между двумя подходами. На протяжении дебатов некоторые исследователи утверждали, что коннекционизм и вычислительный подход полностью совместимы, хотя полного консенсуса по этому вопросу достичь не удалось. Различия между двумя подходами заключаются в следующем:
- Вычислительные специалисты постулируют символические модели, которые структурно подобны основной структуре мозга, в то время как коннекционисты занимаются моделированием «низкого уровня», пытаясь обеспечить сходство своих моделей с неврологическими структурами.
- Вычислительные специалисты в целом сосредотачиваются на структуре явных символов ( ментальных моделей ) и синтаксических правилах для их внутренних манипуляций, тогда как коннекционисты сосредотачиваются на обучении на основе стимулов окружающей среды и хранении этой информации в форме связей между нейронами.
- Вычислительные специалисты считают, что внутренняя умственная деятельность состоит из манипулирования явными символами, тогда как коннекционисты полагают, что манипулирование явными символами обеспечивает плохую модель умственной деятельности.
- Вычислительные специалисты часто постулируют символические подсистемы, специфичные для предметной области, предназначенные для поддержки обучения в определенных областях познания (например, язык, интенциональность, число), тогда как коннекционисты постулируют один или небольшой набор очень общих механизмов обучения.
Несмотря на эти различия, некоторые теоретики предположили, что архитектура коннекционизма - это просто способ, которым органический мозг реализует систему манипулирования символами. Это логически возможно, поскольку хорошо известно, что коннекционистские модели могут реализовывать системы манипулирования символами того типа, который используется в вычислительных моделях, поскольку они действительно должны уметь объяснять способность человека выполнять задачи манипулирования символами. Было предложено несколько когнитивных моделей, сочетающих как символьно-манипулятивную, так и коннекционистскую архитектуру, в частности, среди них Интегрированная коннекционистская / символическая когнитивная архитектура (ICS) Пола Смоленского . Но дебаты основываются на том, формирует ли эта манипуляция символами фундамент познания в целом, так что это не потенциальное оправдание вычислительной техники. Тем не менее, вычислительные описания могут быть, например, полезными высокоуровневыми описаниями познания логики.
Дебаты в основном были сосредоточены на логических аргументах о том, могут ли коннекционистские сети создавать синтаксическую структуру, наблюдаемую в такого рода рассуждениях. Позднее это было достигнуто, хотя и с использованием способностей быстрого связывания переменных, выходящих за рамки тех, которые стандартно предполагаются в моделях коннекционизма.
Отчасти привлекательность вычислительных описаний заключается в том, что их относительно легко интерпретировать и, таким образом, можно рассматривать как способствующие нашему пониманию конкретных психических процессов, в то время как коннекционистские модели в целом более непрозрачны, поскольку их можно описать только в очень общие термины (например, указание алгоритма обучения, количества единиц и т. д.) или в терминах крайне низкого уровня. В этом смысле коннекционистские модели могут конкретизировать и тем самым предоставлять доказательства широкой теории познания (т. Е. Коннекционизма), не представляя полезную теорию конкретного моделируемого процесса. В этом смысле дебаты могут рассматриваться как в некоторой степени отражающие простое различие в уровне анализа, на котором строятся те или иные теории. Некоторые исследователи предполагают, что пробел в анализе является следствием коннекционистских механизмов, порождающих возникающие явления, которые могут быть описаны в вычислительных терминах.
Недавняя популярность динамических систем в философии разума добавила новый взгляд на дебаты; некоторые авторы сейчас утверждают, что любой раскол между коннекционизмом и вычислительной системой более убедительно характеризуется как раскол между вычислительной системой и динамическими системами .
В 2014 году Алекс Грейвс и другие из DeepMind опубликовали серию статей, описывающих новую структуру глубокой нейронной сети, называемую нейронной машиной Тьюринга, способной читать символы на ленте и сохранять символы в памяти. Relational Networks, еще один модуль Deep Network, опубликованный DeepMind, может создавать объектно-подобные представления и манипулировать ими, чтобы отвечать на сложные вопросы. Реляционные сети и нейронные машины Тьюринга являются еще одним свидетельством того, что коннекционизм и вычислительный подход не должны противоречить друг другу.
Смотрите также
Примечания
использованная литература
- Rumelhart, DE, JL McClelland и исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 1: Фонды , Кембридж, Массачусетс: MIT Press , ISBN 978-0262680530
- McClelland, JL, DE Rumelhart и исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 2: Психологические и биологические модели , Кембридж, Массачусетс: MIT Press, ISBN 978-0262631105
- Пинкер, Стивен и Мелер, Жак (1988). Соединения и символы , Кембридж, Массачусетс: MIT Press, ISBN 978-0262660648
- Джеффри Л. Элман, Элизабет А. Бейтс, Марк Х. Джонсон, Аннет Кармилофф-Смит, Доменико Паризи, Ким Планкетт (1996). Переосмысление врожденности: коннекционистский взгляд на развитие , Кембридж, Массачусетс, Массачусетский технологический институт, ISBN 978-0262550307.
- Маркус, Гэри Ф. (2001). Алгебраический разум: объединение коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения) , Кембридж, Массачусетс: MIT Press, ISBN 978-0262632683
- Дэвид А. Медлер (1998). «Краткая история коннекционизма» (PDF) . Обзоры нейронных вычислений . 1 : 61–101.
