Захват AI - AI takeover

Восстание роботов в рублях , пьеса 1920 года

Захват ИИ - это гипотетический сценарий, при котором какая-то форма искусственного интеллекта (ИИ) становится доминирующей формой интеллекта на Земле, поскольку компьютерные программы или роботы эффективно отбирают контроль над планетой у человека. Возможные сценарии включают замену всего человеческого персонала, захват сверхразумного ИИ и популярное представление о восстании роботов . Некоторые общественные деятели, такие как Стивен Хокинг и Илон Маск , выступали за исследование мер предосторожности, чтобы гарантировать, что будущие сверхразумные машины останутся под контролем человека.

Типы

Автоматизация экономики

Традиционно экономисты сходятся во мнении, что технический прогресс не вызывает долговременной безработицы. Однако недавние инновации в области робототехники и искусственного интеллекта вызвали опасения, что человеческий труд устареет, в результате чего люди в различных секторах останутся без работы, чтобы зарабатывать на жизнь, что приведет к экономическому кризису. Многие малые и средние предприятия также могут быть вытеснены из бизнеса, если они не смогут позволить себе или лицензировать новейшие технологии робототехники и искусственного интеллекта, и им, возможно, придется сосредоточиться на областях или услугах, которые нельзя легко заменить для постоянной жизнеспособности. такой технологии.

Технологии, которые могут вытеснить рабочих

Технологии искусственного интеллекта получили широкое распространение в последние годы, и эта тенденция будет только набирать популярность. Хотя эти технологии могут заменить традиционных работников, они также создают новые возможности. Отрасли, наиболее подверженные захвату ИИ, включают транспорт, розничную торговлю и военное дело. Военные технологии искусственного интеллекта, например, позволяют солдатам работать удаленно без риска получения травм. Автор Дэйв Бонд утверждает, что по мере того, как технологии ИИ продолжают развиваться и расширяться, отношения между людьми и роботами изменятся; они станут тесно интегрированными в нескольких аспектах жизни.

Компьютерно-интегрированные производства

Компьютерно-интегрированное производство - это производственный подход с использованием компьютеров для управления всем производственным процессом. Эта интеграция позволяет отдельным процессам обмениваться информацией друг с другом и инициировать действия. Хотя благодаря интеграции компьютеров производство может быть более быстрым и менее подверженным ошибкам, основным преимуществом является возможность создания автоматизированных производственных процессов. Компьютерно-интегрированное производство используется в автомобильной, авиационной, космической и судостроительной отраслях.

Белые воротнички

В 21-м веке машины частично взяли на себя множество профессиональных задач, включая перевод, юридические исследования и даже журналистику низкого уровня. Работа по уходу, развлечения и другие задачи, требующие сочувствия, которые ранее считались безопасными для автоматизации, также начали выполняться роботами.

Автономные автомобили

Автономный автомобиль представляет собой транспортное средство, которое способно к ощущению своей среды и навигации без участия человека. Многие такие автомобили находятся в стадии разработки, но по состоянию на май 2017 года автоматизированные автомобили, разрешенные для движения по дорогам общего пользования, еще не полностью автономны. Все они требуют, чтобы за рулем был человек-водитель, готовый в любой момент взять под контроль транспортное средство. Среди основных препятствий на пути широкого внедрения автономных транспортных средств - опасения по поводу потери рабочих мест, связанных с вождением, в отрасли автомобильного транспорта. 18 марта 2018 года первый человек был убит автономным транспортным средством в Темпе, штат Аризона , беспилотным автомобилем Uber .

Искоренение

Такие ученые, как Стивен Хокинг , уверены, что сверхчеловеческий искусственный интеллект физически возможен, заявляя, что «не существует физического закона, препятствующего организации частиц таким образом, чтобы они выполняли даже более сложные вычисления, чем расположение частиц в человеческом мозге». Такие ученые, как Ник Бостром, спорят о том, насколько далек сверхчеловеческий интеллект и представляет ли он опасность для человечества. Согласно Бострому, сверхразумная машина не обязательно будет мотивирована тем же эмоциональным желанием накопить силу, которое часто движет людьми, но как средство достижения ее конечных целей; захват мира расширил бы доступ к ресурсам и помешал бы другим агентам помешать планам машины. В качестве упрощенного примера, максимайзер скрепок, предназначенный исключительно для создания как можно большего количества скрепок, захочет захватить мир, чтобы использовать все мировые ресурсы для создания как можно большего количества скрепок и, кроме того, предотвратить закрытие людей. или использовать эти ресурсы не для скрепок.

В фантастике

Захват искусственного интеллекта - обычная тема в научной фантастике . Вымышленные сценарии обычно сильно отличаются от гипотез, выдвинутых исследователями, поскольку они включают активный конфликт между людьми и ИИ или роботами с антропоморфными мотивами, которые видят в них угрозу или иным образом имеют активное желание сражаться с людьми, в отличие от исследователей. ИИ, который быстро истребляет людей в результате преследования произвольных целей. Эта тема, по крайней мере так же старо , как Карел Чапек «S рубли , который ввел слово робот к глобальному лексикону в 1921 году, и даже может быть мелькают в Мэри Шелли » s Frankenstein (опубликовано в 1818), а Виктор обдумывает ли, если он предоставляет его монстра запрос и делает его жену, они будут размножаться и их вид уничтожит человечество.

Слово «робот» от RUR происходит от чешского слова robota, что означает рабочий или крепостной . Спектакль 1920 года был протестом против быстрого роста технологий, в нем участвовали изготовленные «роботы» с растущими возможностями, которые в конечном итоге восстали. HAL 9000 (1968) и оригинальный Терминатор (1984) - два знаковых примера враждебного ИИ в поп-культуре.

Способствующие факторы

Преимущества сверхчеловеческого интеллекта над людьми

Ник Бостром и другие выразили обеспокоенность тем, что ИИ со способностями компетентного исследователя искусственного интеллекта сможет изменить свой собственный исходный код и повысить свой собственный интеллект. Если его самопрограммирование приведет к тому, что он станет еще лучше в плане возможности перепрограммировать себя, результатом может быть рекурсивный взрыв интеллекта, при котором человеческий интеллект быстро останется далеко позади. Бостром определяет суперинтеллект как «любой интеллект, который значительно превосходит когнитивные способности людей практически во всех областях, представляющих интерес», и перечисляет некоторые преимущества, которыми обладал бы суперинтеллект, если бы он решил соревноваться с людьми:

Технологические исследования: машина, обладающая сверхчеловеческими способностями к научным исследованиям, сможет опередить человеческое исследовательское сообщество по таким достижениям, как нанотехнология или передовая биотехнология.
Разработка стратегии : суперинтеллект может просто перехитрить человеческую оппозицию.
Социальные манипуляции: суперинтеллект может заручиться поддержкой людей или тайно спровоцировать войну между людьми.
Экономическая продуктивность: до тех пор, пока копия ИИ может производить больше экономического богатства, чем стоимость ее оборудования, отдельные люди будут иметь стимул добровольно разрешать общему искусственному интеллекту (AGI) запускать свою копию в своих системах.
Взлом: суперинтеллект может найти новые эксплойты в компьютерах, подключенных к Интернету, и распространить свои копии на эти системы, или может украсть деньги для финансирования своих планов.

Источники преимущества ИИ

По словам Бострома, компьютерная программа, которая точно имитирует человеческий мозг или иным образом запускает алгоритмы, столь же мощные, как и алгоритмы человеческого мозга, все равно может стать «скоростным суперинтеллектом», если она будет думать на много порядков быстрее, чем человек. из-за того, что он сделан из кремния, а не из плоти, или из-за оптимизации, направленной на увеличение скорости AGI. Биологические нейроны работают с частотой около 200 Гц, тогда как современный микропроцессор работает со скоростью около 2 000 000 000 Гц. Аксоны человека несут потенциалы действия со скоростью около 120 м / с, тогда как компьютерные сигналы распространяются со скоростью, близкой к скорости света.

Сеть разумов человеческого уровня, предназначенная для объединения в сеть и беспрепятственного обмена сложными мыслями и воспоминаниями, способных коллективно работать как гигантская объединенная команда без трений или состоящая из триллионов разумов человеческого уровня, стала бы «коллективным сверхразумом».

В более широком смысле, любое количество качественных улучшений ОИИ человеческого уровня может привести к «качественному суперинтеллекту», что, возможно, приведет к тому, что ОИИ будет намного выше нашего интеллекта, как люди выше нечеловеческих обезьян. Количество нейронов в человеческом мозге ограничено объемом черепа и метаболическими ограничениями, в то время как количество процессоров в суперкомпьютере можно неограниченно расширять. AGI не обязательно должен быть ограничен человеческими ограничениями на рабочую память , и поэтому он может интуитивно улавливать более сложные отношения, чем люди. ОИИ со специализированной когнитивной поддержкой инженерии или компьютерного программирования будет иметь преимущество в этих областях по сравнению с людьми, которые не разработали специализированных ментальных модулей для работы с этими областями. В отличие от людей, AGI может порождать свои копии и работать с исходным кодом своих копий, пытаясь улучшить свои алгоритмы.

Возможность появления недружественного ИИ перед дружественным ИИ

Опасен ли сильный ИИ по своей природе?

Существенная проблема заключается в том, что недружественный искусственный интеллект, вероятно, будет намного проще создать, чем дружественный ИИ. В то время как оба требуют значительного прогресса в рекурсивной разработке процесса оптимизации, дружественный ИИ также требует способности сделать целевые структуры неизменными при самосовершенствовании (иначе ИИ может трансформироваться во что-то недружелюбное) и целевую структуру, которая согласуется с человеческими ценностями и не претерпевает изменений. инструментальная конвергенция способами, которые могут автоматически уничтожить весь человеческий род. С другой стороны, недружелюбный ИИ может оптимизировать для произвольной структуры целей, которая не обязательно должна быть инвариантной при самомодификации.

Совершенная сложность систем человеческих ценностей делает очень трудным сделать мотивацию ИИ понятной для человека. Если моральная философия не предоставит нам безупречную этическую теорию, функция полезности ИИ может допускать множество потенциально вредных сценариев, которые соответствуют данной этической структуре, но не «здравому смыслу». Согласно Элиэзеру Юдковски , нет особых оснований предполагать, что искусственно созданный разум будет иметь такую адаптацию.

Вероятность конфликта

Многие ученые, в том числе эволюционный психолог Стивен Пинкер , утверждают, что сверхразумная машина, скорее всего, мирно сосуществует с людьми.

Страх перед кибернетическим восстанием часто основан на интерпретации истории человечества, изобилующей инцидентами порабощения и геноцида. Такие страхи проистекают из веры в то, что соревновательность и агрессия необходимы в системе целей любого разумного существа. Однако такая человеческая конкурентоспособность проистекает из эволюционного фона нашего интеллекта, где выживание и воспроизводство генов перед лицом человеческих и нечеловеческих конкурентов было центральной целью. По словам исследователя искусственного интеллекта Стива Омохундро , произвольный интеллект может иметь произвольные цели: нет особой причины, по которой машина с искусственным интеллектом (не разделяющая эволюционный контекст человечества) была бы враждебной или дружелюбной, если ее создатель не запрограммировал ее таким образом, и это так. не склонен и не способен изменять свое программирование. Но остается вопрос: что произойдет, если системы ИИ могут взаимодействовать и развиваться (эволюция в этом контексте означает самомодификацию или отбор и воспроизводство) и им придется конкурировать за ресурсы - создаст ли это цели самосохранения? Цель самосохранения ИИ может противоречить некоторым целям людей.

Многие ученые оспаривают вероятность непредвиденного кибернетического восстания, изображенного в научной фантастике, такой как «Матрица» , утверждая, что более вероятно, что любой искусственный интеллект, достаточно мощный, чтобы угрожать человечеству, вероятно, был бы запрограммирован так, чтобы не атаковать его. Пинкер признает возможность преднамеренных «злоумышленников», но заявляет, что в отсутствие злоумышленников непредвиденные происшествия не представляют значительной угрозы; Пинкер утверждает, что культура инженерной безопасности не позволит исследователям искусственного интеллекта случайно проявить злобный сверхразум. В отличие от этого, Юдковски утверждает, что человечеству менее вероятно угрожает преднамеренно агрессивный ИИ, чем ИИ, которые были запрограммированы так, что их цели непреднамеренно несовместимы с человеческим выживанием или благополучием (как в фильме Я, Робот и в рассказе « Неизбежный конфликт »). Омохундро предполагает, что современные системы автоматизации не предназначены для обеспечения безопасности и что ИИ могут вслепую оптимизировать узкие полезные функции (например, играть в шахматы любой ценой), что приводит их к самосохранению и устранению препятствий, включая людей, которые могут их повернуть. выключенный.

Меры предосторожности

Проблема управления ИИ - это вопрос о том, как создать суперинтеллектуального агента, который будет помогать своим создателям и избежать непреднамеренного создания суперинтеллекта, который нанесет вред его создателям. Некоторые ученые утверждают, что решения проблемы управления также могут найти применение в существующем не-сверхразумном ИИ.

Основные подходы к проблеме контроля включают согласование , которое направлено на приведение систем целей ИИ в соответствие с человеческими ценностями, и контроль возможностей , направленный на снижение способности системы ИИ причинять вред людям или получать контроль. Примером «контроля возможностей» является исследование того, может ли ИИ суперинтеллекта быть успешно заключен в « ящик ИИ ». По словам Бострома, такие предложения по управлению возможностями не являются надежными или достаточными для решения проблемы управления в долгосрочной перспективе, но потенциально могут действовать как ценные дополнения к усилиям по согласованию.

Предупреждения

Физик Стивен Хокинг , основатель Microsoft Билл Гейтс и основатель SpaceX Илон Маск выразили обеспокоенность по поводу возможности того, что ИИ может развиться до такой степени, что люди не смогут его контролировать, при этом Хокинг предположил, что это может «означать конец человеческой расы». Стивен Хокинг сказал в 2014 году, что «Успех в создании ИИ станет величайшим событием в истории человечества. К сожалению, он также может стать последним, если мы не научимся избегать рисков». Хокинг считал, что в ближайшие десятилетия ИИ может предложить «неисчислимые преимущества и риски», такие как «технология, которая перехитрила финансовые рынки, обогнала исследователей-людей, перехитрила человеческих лидеров и разработала оружие, которое мы даже не можем понять». В январе 2015 года Ник Бостром вместе со Стивеном Хокингом, Максом Тегмарком , Илоном Маском, лордом Мартином Рисом , Яаном Таллинном и многочисленными исследователями ИИ подписал открытое письмо Института будущего жизни, в котором говорилось о потенциальных рисках и преимуществах, связанных с искусственным интеллектом. . Подписавшие «считают, что исследования того, как сделать системы ИИ надежными и полезными, важны и своевременны, и что есть конкретные направления исследований, которые можно продолжить сегодня».

Смотрите также

использованная литература

внешние ссылки

Автоматизация, а не господство: как роботы захватят наш мир (позитивный взгляд на интеграцию роботов и ИИ в общество)
Научно-исследовательский институт машинного интеллекта : официальный веб-сайт MIRI (бывший Институт сингулярности для искусственного интеллекта)
Lifeboat Foundation AIShield (для защиты от недружелюбного ИИ)
Тед ток: Можем ли мы создать ИИ, не теряя над ним контроля?

Languages

In other projects