Три закона робототехники - Three Laws of Robotics

Эта обложка книги « Я, робот» иллюстрирует рассказ «Обход», который первым перечисляет все три закона робототехники.

Три закона робототехники (часто сокращается до трех законов или известный как Законов Азимова ) представляют собой набор правил , придуманных научной фантастики автора Айзек Азимов . Правила были введены в его рассказе 1942 года « Обход » (включенном в сборник 1950 года « Я, Робот» ), хотя они были предсказаны в некоторых более ранних рассказах. Три закона, цитируемые из «Справочника по робототехнике, 56-е издание, 2058 г. н.э.», таковы:

Первый Закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон: Робот должен подчиняться приказам людей, за исключением случаев, когда такие приказы противоречат Первому закону.
Третий закон: Робот должен защищать свое существование до тех пор, пока такая защита не противоречит Первому или Второму закону.

Они образуют принцип организации и объединения тема для Азимова роботизированной -На фантастики, появляющийся в своем Robot серии , истории , связанные с ним, и его Лаки Старр серии из молодых взрослой фантастики . Законы включены почти во всех позитронных роботов, фигурирующих в его художественной литературе, и их нельзя обойти, поскольку они предназначены для обеспечения безопасности. Во многих рассказах Азимова, посвященных роботам, роботы ведут себя необычным и нелогичным образом, что является непреднамеренным следствием того, как робот применяет три закона к ситуации, в которой он находится. Другие авторы, работающие в фантастической вселенной Азимова, переняли их, и ссылки, часто пародийные , появляются в научной фантастике, а также в других жанрах.

Первоначальные законы были изменены и доработаны Азимовым и другими авторами. Сам Азимов внес небольшие изменения в первые три в различных книгах и рассказах, чтобы в дальнейшем разработать то, как роботы будут взаимодействовать с людьми и друг с другом. В более поздних произведениях, где роботы взяли на себя ответственность за управление целыми планетами и человеческими цивилизациями, Азимов также добавил четвертый, или нулевой, закон, предшествующий остальным:

Нулевой закон: Робот не может причинить вред человечеству или своим бездействием позволить человечеству причинить вред.

Три закона и ноль стали неотъемлемой частью научной фантастики и упоминаются во многих книгах, фильмах и других средствах массовой информации. Они также повлияли на мысль об этике искусственного интеллекта .

История

В книге «Остальные роботы» , опубликованной в 1964 году, Айзек Азимов отмечал, что, когда он начал писать в 1940 году, он чувствовал, что «одним из основных сюжетов научной фантастики было ... роботы были созданы и уничтожены их создателем. Знание имеет свои опасности, да, но будет ли реакция отступлением от знания? Или знание должно использоваться как барьер на пути к опасностям, которые оно несет? " Он решил, что в его рассказах робот не будет «тупо нападать на своего создателя без всякой цели, но чтобы продемонстрировать в очередной утомительный раз преступление и наказание Фауста ».

3 мая 1939 года Азимов посетил собрание Общества научной фантастики Квинса ( Нью-Йорк ), где он встретил Эрла и Отто Биндеров , которые недавно опубликовали рассказ «Я, робот» с участием сочувствующего робота по имени Адам Линк , которого неправильно поняли и мотивированы любовью и честью. (Это была первая из десяти историй; в следующем году в «Мести Адама Линка» (1940) Адам думал, что «Робот никогда не должен убивать человека по собственной воле».) Азимов восхищался историей. Через три дня Азимов начал писать свой 14-й рассказ «Мой собственный рассказ о благородном и отзывчивом роботе». Тринадцать дней спустя он отвез « Робби » к Джону У. Кэмпбеллу, редактору « Поразительной научной фантастики» . Кэмпбелл отвергла его, заявив, что он слишком сильно похож на « Хелен О'Лой » Лестера дель Рей , опубликованную в декабре 1938 года - историю робота, который настолько похож на человека, что она влюбляется в своего создателя. и становится его идеальной женой. Фредерик Поль опубликовал рассказ под названием «Странный товарищ по играм» в журнале Super Science Stories в сентябре 1940 года.

Азимов приписывает Три закона Джону У. Кэмпбеллу из беседы, состоявшейся 23 декабря 1940 года. Кэмпбелл утверждал, что Азимов уже имел в виду Три закона и что их просто нужно было изложить прямо. Несколько лет спустя друг Азимова Рэндалл Гарретт приписал Законы симбиотическому партнерству между двумя мужчинами - предложение, которое Азимов принял с энтузиазмом. Согласно его автобиографическим сочинениям, Азимов включил пункт «бездействия» Первого закона из-за стихотворения Артура Хью Клафа « Последний декалог » ( текст в Wikisource ), которое включает в себя сатирические строки «Не убий, но не нужно стремиться / официально сохранить жизнь ".

Хотя Азимов связывает создание Трех Законов с одной конкретной датой, их появление в его литературе произошло в течение определенного периода. Он написал две истории про роботов без явного упоминания законов: « Робби » и « Причина ». Однако он предположил, что у роботов будут определенные гарантии. « Лжец! », Его третья история про роботов, впервые упоминает Первый Закон, но не два других. Все три закона, наконец, объединились в " Обходе ". Когда эти и несколько других рассказов были собраны в антологию, я, Робот , «Разум» и «Робби» были обновлены, чтобы признать все Три закона, хотя материал, который Азимов добавил в «Разум», не полностью соответствует Трем законам, поскольку он описал их в другом месте. В частности, идея робота, защищающего человеческие жизни, когда он не верит, что эти люди действительно существуют, противоречит рассуждениям Элайджи Бейли, как описано ниже .

В 1950-е годы Азимов написал серию научно-фантастических романов, специально предназначенных для молодежи и взрослых. Первоначально его издатель ожидал, что по романам можно будет сделать продолжительный телесериал, что-то вроде «Одинокого рейнджера» для радио. Опасаясь, что его рассказы будут адаптированы для «одинаково ужасных» программ, он видел наводнение телевизионных каналов, Азимов решил издать книги Lucky Starr под псевдонимом «Пол Френч». Когда планы на телесериал провалились, Азимов решил отказаться от притворства; он представил «Три закона» в « Счастливчике Старре» и «Луны Юпитера» , отметив, что это «явная разглашение личности Пола Френча даже для самого случайного читателя».

В своем рассказе «Свидетельства» Азимов позволяет своему повторяющемуся персонажу доктору Сьюзен Кэлвин изложить моральную основу Трех Законов. Кальвин отмечает, что от людей обычно ожидается воздержание от причинения вреда другим людям (за исключением случаев крайнего принуждения, таких как война, или для спасения большего числа людей), и это эквивалентно Первому закону робота. Точно так же, согласно Кальвину, общество ожидает, что люди будут подчиняться инструкциям признанных авторитетов, таких как врачи, учителя и т. Д., Что равносильно второму закону робототехники. Наконец, ожидается, что люди будут избегать причинения вреда себе, что является третьим законом для роботов.

Сюжет «Свидетельства» вращается вокруг вопроса о том, как отличить человека от робота, созданного так, чтобы казаться человеком. Кальвин считает, что если такой человек подчиняется Трем законам, он может быть роботом или просто «очень хорошим человеком». Затем другой персонаж спрашивает Кальвина, сильно ли роботы все-таки отличаются от людей. Она отвечает: «Миры разные. Роботы по сути достойные».

Позже Азимов писал, что его не следует хвалить за создание Законов, потому что они «очевидны с самого начала, и каждый осознает их подсознательно. Просто никогда не случалось, чтобы Законы были изложены в коротких предложениях, пока мне не удалось выполнить работу. Законы, как само собой разумеющееся, применяются ко всем инструментам, используемым людьми », и« аналоги Законов подразумеваются в конструкции почти всех инструментов, роботизированных или нет »:

Правило 1. Инструмент не должен быть небезопасным. У молотков есть рукоятки, а у отверток - рукоятки, чтобы усилить захват. Конечно, человек может пораниться одним из этих инструментов, но эта травма будет вызвана только его некомпетентностью, а не конструкцией инструмента.
Закон 2: Инструмент должен выполнять свою функцию эффективно, если это не может нанести вред пользователю. Это единственная причина, по которой существуют прерыватели цепи замыкания на землю . Любой работающий инструмент будет отключен, если цепь обнаружит, что некоторый ток не возвращается к нейтральному проводу и, следовательно, может течь через пользователя. Безопасность пользователя превыше всего.
Правило 3: Инструмент должен оставаться неповрежденным во время использования, если его уничтожение не требуется для его использования или в целях безопасности. Например, диски Dremel спроектированы так, чтобы быть максимально прочными и не ломаться, если этого не требует работа. Кроме того, они предназначены для разрушения в точке, прежде чем скорость осколка может серьезно повредить кому-либо (кроме глаз, хотя в любом случае следует носить защитные очки).

Азимов считал, что в идеале люди также будут следовать законам:

У меня есть готовый ответ, когда меня спрашивают, думаю ли я, что мои Три закона робототехники действительно будут использоваться для управления поведением роботов, когда они станут достаточно универсальными и гибкими, чтобы иметь возможность выбирать среди различных вариантов поведения.

Мой ответ: «Да, Три закона - единственный способ, которым разумные люди могут иметь дело с роботами - или с чем-либо еще».

- Но когда я говорю это, я всегда вспоминаю (к сожалению), что люди не всегда рациональны.

Переделки

Азимов

Истории Азимова проверяют его Три закона в самых разных обстоятельствах, что приводит к предложениям и отклонению изменений. Ученый-фантаст Джеймс Ганн пишет в 1982 году: «Истории о роботах Азимова в целом могут лучше всего ответить на анализ на этой основе: двусмысленность в Трех законах и способы, которыми Азимов сыграл двадцать девять вариаций на тему». В то время как исходный свод законов послужил источником вдохновения для многих историй, Азимов время от времени вводил модифицированные версии.

Первый закон изменен

В « Little Lost Robot » несколько роботов NS-2, или «Nestor», созданы с использованием только части Первого закона. Он гласит:

1. Робот не может причинить вред человеку.

Эта модификация вызвана практическими трудностями, поскольку роботам приходится работать вместе с людьми, подвергающимися воздействию низких доз радиации. Поскольку их позитронный мозг очень чувствителен к гамма-излучению, роботы становятся неработоспособными из-за доз, достаточно безопасных для человека. Роботы уничтожаются, пытаясь спасти людей, которым не угрожает реальная опасность, но которые «могут забыть покинуть» облученную зону в пределах установленного времени воздействия. Удаление пункта о «бездействии» из Первого закона решает эту проблему, но создает возможность еще большей: робот может инициировать действие, которое может нанести вред человеку (падение тяжелого груза и неспособность его поймать - это пример, приведенный в тексте) , зная, что он способен предотвратить причинение вреда, а затем решили этого не делать.

Гайя - планета с коллективным разумом из серии Оснований, которая принимает закон, подобный Первому Закону, и Нулевой Закон в качестве своей философии:

Гайя не может причинить вред жизни или позволить жизни причинить вред.

Добавлен нулевой закон

Азимов однажды добавил « нулевой закон» - названный так, чтобы продолжить схему, в которой законы с меньшими номерами заменяют законы с более высокими номерами, - заявив, что робот не должен причинять вред человечеству. Роботизированный персонаж Р. Дэниел Оливо был первым, кто назвал Нулевой закон в романе « Роботы и Империя» ; однако персонаж Сьюзен Кальвин формулирует эту концепцию в рассказе « Неизбежный конфликт ».

В заключительных сценах романа роботов и империи , Р. Giskard Reventlov является первым роботом , чтобы действовать в соответствии с Законом нулевого. Жискар телепат , как робот Херби в рассказе « Лжец! », И пытается применить нулевой закон, понимая более тонкую концепцию «вреда», чем может постичь большинство роботов. Однако, в отличие от Херби, Жискар понимает философскую концепцию Нулевого закона, позволяющую ему причинять вред отдельным людям, если он может делать это на службе абстрактной концепции человечества. Нулевой закон никогда не запрограммирован в мозгу Жискара, но вместо этого является правилом, которое он пытается понять с помощью чистого метапознания . Хотя он терпит неудачу - это в конечном итоге разрушает его позитронный мозг, поскольку он не уверен, окажется ли его выбор на благо человечества или нет - он дает своему преемнику Р. Дэнилу Оливу свои телепатические способности. В течение многих тысяч лет Даниил приспосабливается к тому, чтобы полностью подчиняться Нулевому Закону. Как формулирует Даниил, в романах « Основание» и «Земля» и « Прелюдия к основанию» Нулевой закон гласит:

Робот не может причинить вред человечеству или своим бездействием позволить человечеству причинить вред.

К первоначальным Трем законам было добавлено условие, гласящее, что Нулевой закон не должен нарушаться, хотя Азимов осознавал трудности, которые такой закон может создать на практике. Роман Азимова « Основание и Земля» содержит следующий отрывок:

Тревиз нахмурился. «Как вы решаете, что вредно или не вредно для человечества в целом?»

"Совершенно верно, сэр," сказал Дэниел. «Теоретически Нулевой закон был ответом на наши проблемы. На практике мы никогда не могли решить. Человек - это конкретный объект. Травму человека можно оценить и оценить. Человечество - это абстракция».

Переводчик включил концепцию нулевого закона в один из романов Азимова до того, как сам Азимов разъяснил закон. Рядом кульминационные Пещеры стали , Илия Балей делает горький комментарий к себе , думая , что первый закон запрещает робот от вреда человеку. Он определяет, что так и должно быть, если робот не достаточно умен, чтобы понять, что его действия служат на благо человечества в долгосрочной перспективе. Во французском переводе Жака Брекара 1956 года под названием Les Cavernes d'acier Baley мысли возникают несколько иначе:

Робот не может причинить вред человеку, если он не найдет способ доказать, что в конечном итоге нанесенный вред принесет пользу человечеству в целом!

Отмена трех законов

За свою писательскую карьеру Азимов трижды изображал роботов, полностью игнорирующих Три закона. Первый случай - это рассказ под названием « Первый закон », который часто считают незначительной «сказкой» или даже апокрифом . С другой стороны, рассказ « Кэл » (из сборника « Золото» ), рассказанный рассказчиком-роботом от первого лица, показывает робота, который игнорирует Три закона, потому что он обнаружил нечто гораздо более важное - он хочет быть писателем. . Юмористический, отчасти автобиографичный и необычно экспериментальный по стилю, «Кэл» считается одним из самых сильных рассказов Голда . Третий - это рассказ под названием « Салли », в котором автомобили, оснащенные позитронным мозгом, очевидно, способны причинять вред и убивать людей, игнорируя Первый Закон. Однако, помимо концепции позитронного мозга, эта история не относится к другим историям о роботах и не может быть установлена в той же последовательности .

Заглавная история коллекции Robot Dreams изображает LVX-1, или «Elvex», робота, который входит в состояние бессознательности и сновидений благодаря необычной фрактальной конструкции своего позитронного мозга. В его сне отсутствуют первые два закона, а третий закон гласит: «Робот должен защищать свое существование».

Азимов занимал разные позиции относительно того, были ли Законы необязательными: хотя в его первых работах они были просто тщательно разработанными гарантиями, в более поздних рассказах Азимов заявил, что они были неотъемлемой частью математической основы, лежащей в основе позитронного мозга. Без базовой теории Трех Законов вымышленные ученые вселенной Азимова не смогли бы создать работоспособную единицу мозга. Это исторически согласовано: случаи, когда робототехники изменяют Законы, обычно происходят на ранних этапах хронологии рассказов и в то время, когда остается меньше существующей работы, которую нужно переделать. В «Маленьком потерянном роботе» Сьюзан Кэлвин считает изменение Законов ужасной идеей, хотя и возможной, а столетия спустя доктор Герригель в «Стальных пещерах» считает это невозможным.

Персонаж доктор Герригель использует термин «Асенион» для описания роботов, запрограммированных с помощью Трех Законов. Роботы в рассказах Азимова, будучи роботами Asenion, неспособны сознательно нарушать Три закона, но, в принципе, робот в научной фантастике или в реальном мире может не быть Asenion. «Асенион» - это неправильное написание имени Азимов, сделанное редактором журнала Planet Stories. Азимов использовал этот неясный вариант, чтобы вставить себя в Стальные пещеры, точно так же, как он называл себя «Азимут или, возможно, Асимптота» в « Тиотимолине к звездам» , во многом таким же образом, как Владимир Набоков появился в « Лолите», анаграммно замаскированный под «Вивиан». Цветение тьмы ".

Персонажи рассказов часто указывают на то, что Три закона в том виде, в каком они существуют в сознании робота, - это не письменные версии, обычно цитируемые людьми, а абстрактные математические концепции, на которых основано все развивающееся сознание робота. Эта концепция в значительной степени расплывчата и неясна в более ранних историях, изображающих очень рудиментарных роботов, которые запрограммированы только на понимание основных физических задач, где Три закона действуют как всеобъемлющая защита, но к эпохе Стальных пещер с участием роботов с людьми или за их пределами. Человеческий интеллект Три закона стали основным этическим мировоззрением, определяющим действия всех роботов.

Другими авторами

Роджер Макбрайд Трилогия Аллена

В 1990-х Роджер Макбрайд Аллен написал трилогию, действие которой происходило в вымышленной вселенной Азимова. Каждый заголовок имеет приставку «Исаак Азимов», поскольку Азимов одобрил набросок Аллена перед его смертью. Эти три книги, Калибан , Ад и Утопия , представляют новый набор Трех Законов. Так называемые Новые законы похожи на оригиналы Азимова со следующими отличиями: первый закон изменен, чтобы удалить пункт о «бездействии», такая же модификация внесена в «Little Lost Robot»; Второй Закон изменен, чтобы требовать сотрудничества вместо послушания; Третий Закон изменен, так что он больше не заменяется Вторым (т. е. роботу «Нового Закона» нельзя приказать уничтожить себя); наконец, Аллен добавляет Четвертый закон, который предписывает роботу делать «все, что он хочет», если это не противоречит первым трем законам. Философия этих изменений заключается в том, что роботы «Нового Закона» должны быть партнерами, а не рабами человечества, по словам Фредды Левинг , разработавшей этих роботов Нового Закона . Согласно предисловию к первой книге, Аллен разработал Новые законы в дискуссии с самим Азимовым. Однако в Энциклопедии научной фантастики говорится, что «с разрешения Азимова Аллен переосмыслил« Три закона »и разработал новый набор».

Джек Уильямсон "Со скрещенными руками"

Повесть Джека Уильямсона « Со скрещенными руками » (1947), позже переписанная как роман «Гуманоиды» , посвящена роботам-слугам, главная директива которых - «Служить и подчиняться и охранять людей от вреда». В то время как законы о роботах Азимова предназначены для защиты людей от вреда, роботы в истории Уильямсона довели эти инструкции до крайности; они защищают людей от всего, включая несчастье, стресс, нездоровый образ жизни и все действия, которые могут быть потенциально опасными. Все, что остается делать людям, - это сидеть со сложенными руками.

Основание сиквела трилогии

В официально лицензированный фонде сиквелы Страха Фонда , Фонд и Хаос и Триумф Фонда (по Бенфорд , Грег Медведь и Дэвид Брин соответственно) будущую Галактическая Империя видятся контролировать заговор человекообразных роботов , которые следуют закону нулевого и привели по Р. Дэниел Оливо .

Законы робототехники изображаются как нечто сродни человеческой религии и упоминаются на языке протестантской Реформации , с набором законов, содержащим нулевой закон, известный как «Реформация Жискардиана» по отношению к первоначальному «кальвинистскому православию». Три закона. Роботы Нулевого Закона под управлением Дэниела Оливо постоянно борются с роботами «Первого Закона», которые отрицают существование Закона Нулевого, продвигая программы, отличные от Данила. Некоторые из этих повесток дня основаны на первом пункте Первого закона («Робот не может причинить вред человеку ...»), защищающему строгое невмешательство в человеческую политику, чтобы избежать невольного причинения вреда. Другие основаны на втором пункте («... или, бездействием, позволить человеку причинить вред»), утверждая, что роботы должны открыто стать диктаторским правительством для защиты людей от всех потенциальных конфликтов или катастроф.

Дэниел также вступает в конфликт с роботом, известным как Р. Лодович Трема, позитронный мозг которого был заражен мошенническим ИИ, в частности, симуляцией давно умершего Вольтера, что, следовательно, освобождает Трему от Трех Законов. Трема приходит к убеждению, что человечество должно иметь право выбирать свое будущее. Кроме того, небольшая группа роботов утверждает, что сам Нулевой закон робототехники подразумевает более высокий закон робототехники минус один:

Робот не может нанести вред разуму или своим бездействием позволить разуму причинить вред.

Поэтому они заявляют, что для Дэнила морально неоправданно безжалостно жертвовать роботами и внеземной разумной жизнью на благо человечества. Ни одна из этих интерпретаций не может успешно заменить нулевой закон Дэниела - хотя Триумф Фонда намекает, что эти роботизированные фракции остаются активными как маргинальные группы до времени создания нового Основания .

Действие этих романов происходит в будущем, продиктованном Азимовым свободным от очевидного присутствия роботов, и предполагается, что тайное влияние Р. Дэнила на историю на протяжении тысячелетий препятствовало как повторному открытию технологии позитронного мозга, так и возможности работать на сложных интеллектуальных машинах. Это отсутствие повторного открытия и отсутствие возможности гарантирует, что превосходящая физическая и интеллектуальная сила, которой обладают интеллектуальные машины, остается в полной собственности роботов, подчиняющихся той или иной форме Трех Законов. Это Р. Daneel не совсем успешным в этом становится ясно , в течение короткого периода , когда ученые на Trantor развивать « tiktoks » - упрощенные программируемые машины сродни реальной жизни современных роботов и , следовательно , не хватает трех законов. Заговорщики-роботы рассматривают транторианские тиктоки как серьезную угрозу социальной стабильности, и их план по устранению угрозы тиктоков составляет большую часть сюжета «Страха Фонда» .

В «Триумфе Фонда» разные фракции роботов интерпретируют Законы по-разному, по-видимому, обращая внимание на каждую возможную перестановку двусмысленностей Трех Законов.

Робот Тайна серии

Установить между Роботы зари и Роботы и Империя , Марк У. Tiedemann «s Robot Mystery трилогия обновляет робота - Foundation сагу с роботизированными умами размещались в компьютерных мэйнфреймы , а не гуманоидных тел. В романе «Аврора» 2002 года персонажи-роботы обсуждают моральные последствия причинения вреда киборгам, которые частично являются искусственными, а частично биологическими.

Нельзя пренебрегать собственными творениями Азимова в этих областях, такими как технология «просмотра» Солнца и машины оригиналов The Evitable Conflict, которые признает Тидеманн. Аврора , например, называет Машины «действительно первыми РИ». Кроме того, серия « Тайны роботов » посвящена проблеме нанотехнологий : создание позитронного мозга, способного воспроизводить когнитивные процессы человека, требует высокой степени миниатюризации, однако в рассказах Азимова в значительной степени упускается из виду влияние этой миниатюризации на другие области технологий. Например, картридеры полицейского управления в «Стальных пещерах» имеют емкость всего несколько килобайт на квадратный сантиметр носителя информации. «Аврора» , в частности, представляет собой последовательность исторических событий, которые объясняют отсутствие нанотехнологий - в некотором смысле частичный реткон временной шкалы Азимова.

Рэндалл Манро

Рэндалл Манро обсуждал Три закона в различных случаях, но, возможно, наиболее прямо в одном из своих комиксов под названием «Три закона робототехники», который представляет последствия каждого отдельного упорядочивания существующих трех законов.

Дополнительные законы

Авторы, отличные от Азимова, часто создавали дополнительные законы.

Роман Любена Дилова 1974 года «Путь Икара» (он же «Путешествие Икара» ) ввел Четвертый закон робототехники: «Робот должен во всех случаях идентифицировать себя как робот». Дилов объясняет причины четвертой меры предосторожности следующим образом: «Последний Закон положил конец дорогостоящим заблуждениям дизайнеров, чтобы придать психороботам как можно более человечную форму. И возникшие в результате недоразумения ...»

Пятый закон был представлен Никола Кесаровски в его рассказе «Пятый закон робототехники». Этот пятый закон гласит: «Робот должен знать, что он робот». Сюжет вращается вокруг убийства, где судебно-медицинское расследование обнаруживает, что жертва была убита объятием человекоподобного робота, который не подтвердил для себя, что это был робот. Историю написал Валентин Иванович в обзоре журнала SFF The Portal .

Для 1986 дани антологии, Фонда друзей , Гарри Гаррисон написал рассказ под названием «Четвертый закон робототехники». Этот Четвертый закон гласит: «Робот должен воспроизводить. Пока такое воспроизведение не противоречит Первому, Второму или Третьему закону».

В 2013 году Хутан Ашрафян предложил дополнительный закон, в котором учитывалась роль искусственного интеллекта в искусственном интеллекте или взаимоотношения между самими роботами - так называемый закон AIonAI. Этот шестой закон гласит: «Все роботы, наделенные сопоставимым человеческим разумом и совестью, должны действовать по отношению друг к другу в духе братства».

Неясности и лазейки

Незнание о нарушении законов

В Голый Солнце , Илия Балей указывает на то , что законы были намеренно искажены , потому что роботы могут неосознанно нарушить любой из них. Он вновь первый закон как «робот может сделать ничего такого , что, по его сведениям, будет вредить человеческого существа, ни через бездействие, сознательно позволяют человеку был причинен вред.» Это изменение формулировки проясняет, что роботы могут стать орудием убийства, если они не осознают характер своих задач; например, ему приказывают добавить что-нибудь в пищу человеку, не зная, что это яд. Кроме того, он указывает, что умный преступник может разделить задачу между несколькими роботами, чтобы ни один отдельный робот не мог распознать, что его действия приведут к причинению вреда человеку. «Обнаженное Солнце» усложняет проблему, изображая децентрализованную глобальную коммуникационную сеть между миллионами роботов Солярии, что означает, что криминальный вдохновитель может находиться где угодно на планете.

Кроме того, Бейли предполагает, что соляриане однажды могут использовать роботов в военных целях. Если космический корабль был построен с позитронным мозгом и на нем не было ни людей, ни систем жизнеобеспечения, поддерживающих их, тогда роботизированный интеллект корабля мог бы, естественно, предположить, что все остальные космические корабли были роботами. Такой корабль мог бы действовать более отзывчиво и гибко, чем корабль с командой людей, мог бы быть лучше вооружен, а его роботизированный мозг был бы приспособлен для уничтожения людей, о существовании которых он совершенно не подозревает. Эта возможность упоминается в « Основании и Земле», где обнаруживается, что солярианцы обладают сильными полицейскими силами неопределенного размера, которые были запрограммированы так, чтобы идентифицировать только солярианскую расу как людей. (Роман имеет место тысячи лет после того, как The Naked Sun, и соларианцы давно модифицирована себя от нормальных людей , чтобы гермафродитных телепатов с увеличенными мозгов и специализированных органов) Кроме того , в Лаки Старр и кольца Сатурна попытки Верзила говорить с Сирианский робот сообщает о возможном ущербе населению Солнечной системы своими действиями, но, похоже, он не знает об этих данных и запрограммирован на игнорирование попыток рассказать ему об этом.

Неопределенность из-за отсутствия определения

Законы робототехники предполагают, что термины «человек» и «робот» понятны и хорошо определены. В некоторых историях это предположение опровергается.

Определение «человека»

В соларианцы создание роботов с тремя законами , но с перекосом значением «человек». Солярианским роботам говорят, что только люди, говорящие с солярианским акцентом, являются людьми. Это позволяет их роботам не сталкиваться с этической дилеммой в нанесении вреда несолярианским людям (и они специально запрограммированы на это). К периоду времени Основания и Земли выясняется, что соляриане генетически модифицировали себя в вид, отличный от человечества - стали гермафродитами и психокинетиками и содержали биологические органы, способные индивидуально приводить в действие и управлять целыми комплексами роботов. Таким образом, роботы Солярии соблюдают Три закона только в отношении «людей» Солярии. Неясно, все ли роботы имели такие определения, поскольку только роботы-надзиратели и охранники явно имели их. В «Роботах и Империи» роботы низшего класса были проинструктированы своим надзирателем о том, являются ли определенные существа людьми или нет.

Азимов несколько раз обращается к проблеме человекоподобных роботов (« андроидов », говоря позднее). Роман « Роботы и Империя» и рассказы « Свидетельства » и «Трехсотлетний инцидент» описывают роботов, созданных для того, чтобы заставить людей поверить в то, что это люди. С другой стороны, « Двухсотлетний человек » и « Этот ты помнящий о нем » исследуют, как роботы могут изменить свою интерпретацию Законов по мере того, как они становятся более изощренными. Гвендолин Батлер пишет в книге «Гроб для Канарских островов »: «Возможно, мы роботы. Роботы, исполняющие последний закон робототехники ... стремиться к человеку». В Роботы зари , Илия Балей указует на то , что использование человекообразных роботов в качестве первой волны поселенцев на новых Spacer миров может привести к роботам видеть себя как истинные человек, и решив сохранить миры для себя , а не позволять Проставки там поселить.

«… Ты помнишь о нем», которое Азимов намеревался сделать «окончательным» исследованием тонкостей Законов, наконец, использует Три Закона, чтобы вызвать в воображении тот самый «Франкенштейнский» сценарий, для предотвращения которого они были придуманы. В основе его концепции - растущее развитие роботов, которые имитируют нечеловеческие живые существа, и заданные программы, имитирующие простое поведение животных, не требующее трех законов. Присутствие целого ряда роботизированных жизней, служащих той же цели, что и органическая жизнь, заканчивается двумя роботами-гуманоидами, Джорджем Девятым и Джорджем Теном, делая вывод о том, что органическая жизнь является ненужным требованием для действительно логичного и непротиворечивого определения «человечности». , и, поскольку они являются наиболее продвинутыми мыслящими существами на планете, следовательно, они являются единственными живыми настоящими людьми, и Три закона применимы только к ним самим. История заканчивается зловещей нотой, когда два робота впадают в спячку и ждут момента, когда они завоюют Землю и подчинят себе биологических людей - результат, который они считают неизбежным результатом «Трех законов гуманизма».

Эта история не вписывается в общий размах серии « Робот и основание » ; если бы роботы Джорджи действительно захватили Землю через некоторое время после того, как история закончилась, более поздние истории были бы либо излишними, либо невозможными. Подобного рода противоречия между художественными произведениями Азимова привели ученых к тому, что истории о роботах стали больше похожи на «скандинавские саги или греческие легенды», чем на единое целое.

Действительно, Азимов описывает «Ты помнишь о Нем» и «Двухсотлетний человек» как два противоположных, параллельных будущего для роботов, которые игнорируют Три закона, поскольку роботы начинают считать себя людьми: один изображает это в положительном свете с робот присоединяется к человеческому обществу, изображая это в негативном свете, когда роботы вытесняют людей. И то, и другое следует рассматривать как альтернативу возможности создания общества роботов, которое по-прежнему руководствуется тремя законами, изображенными в сериале « Основы ». Позитронный человек , новеллизация «Двухсотлетнего человека» , Азимов и его соавтор Роберт Сильверберг подразумевают, что в будущем, где существует Эндрю Мартин, его влияние заставит человечество полностью отказаться от идеи независимых, разумных человекоподобных роботов, создав совершенно иное будущее что из Фонда .

В Лаки Старр и кольца Сатурна , роман не связан с роботом серии , но с участием роботов , запрограммированных с тремя законами, Джон Верзила Джонс почти убит Сириуса робот по приказу своего хозяина. Общество Сириуса евгенически воспитано так, чтобы быть одинаково высоким и похожим по внешнему виду, и поэтому, упомянутый хозяин способен убедить робота в том, что гораздо более низкий Бигмен на самом деле не человек.

Определение слова «робот»

Как отмечалось в «Пятом законе робототехники» Николы Кесаровски , «робот должен знать, что он робот»: предполагается, что у робота есть определение термина или средства, чтобы применить его к своим собственным действиям. Кесаровски использовал эту идею, когда писал о роботе, который мог убить человека, потому что он не понимал, что это робот, и поэтому не применял Законы робототехники к своим действиям.

Разрешение противоречий между законами

Продвинутые роботы в художественной литературе обычно запрограммированы на выполнение Трех Законов сложным образом. Во многих историях, таких как « Обход » Азимова, оценивается потенциал и серьезность всех действий, и робот будет как можно меньше нарушать законы, а не делать вообще ничего. Например, Первый закон может запрещать роботу выполнять функции хирурга, поскольку это действие может причинить вред человеку; однако рассказы Азимова в конечном итоге включали в себя роботов-хирургов («Двухсотлетний человек» - яркий тому пример). Когда роботы достаточно сложны, чтобы взвесить альтернативы, робот может быть запрограммирован на принятие необходимости нанесения ущерба во время операции, чтобы предотвратить больший вред, который может возникнуть, если операция не будет проведена или будет проведена человеком, более склонным к ошибкам. хирург. В « Доказаниях » Сьюзен Кэлвин указывает, что робот может даже выступать в качестве обвинителя, потому что в американской системе правосудия именно присяжные решают виновность или невиновность, судья выносит приговор, а палач выносит смертную казнь .

Роботы, подчиняющиеся Трем законам Азимова (роботы Asenion), могут испытать необратимый психический коллапс, если они окажутся в ситуации, когда они не могут подчиняться Первому закону, или если они обнаружат, что неосознанно нарушили его. Первый пример этого режима отказа встречается в рассказе « Лжец! », Который вводит сам Первый Закон и вводит отказ по дилемме - в этом случае робот причинит вред людям, если он им что-то скажет, и причинит им боль, если он этого не сделает. Этот режим отказа, который часто разрушает позитронный мозг без возможности восстановления, играет важную роль в фантастическом романе Азимова « Обнаженное солнце» . Здесь Дэниел описывает действия, противоречащие одному из законов, но поддерживающие другой, как перегрузку некоторых цепей в мозгу робота, что эквивалентно боли у людей. Пример, который он использует, принудительно приказывает роботу выполнить задачу, выходящую за рамки его обычных параметров, от которой ему было приказано отказаться в пользу робота, специализированного для этой задачи.

В «Роботах рассвета» говорится, что создаются более продвинутые роботы, способные определять, какое действие более вредно, и даже выбирать случайным образом, если альтернативы одинаково плохи. Таким образом, робот способен совершать действия, которые можно интерпретировать как следование Первому закону, что позволяет избежать психического коллапса. Весь сюжет истории вращается вокруг робота, который, по-видимому, был уничтожен таким психическим коллапсом, и, поскольку его разработчик и создатель отказался делиться основной теорией с другими, он, по определению, единственный человек, способный обойти гарантии и ввергнуть робота в парадокс, разрушающий мозг.

В « Роботах и Империи» Дэниел заявляет, что ему очень неприятно, когда принятие правильного решения занимает слишком много времени (с точки зрения роботов), и он не может представить себя без Законов вообще, за исключением той степени, в которой это похоже на это неприятное ощущение, только постоянный.

Приложения к технологиям будущего

ASIMO - продвинутый робот-гуманоид, разработанный Honda . Показано здесь, на Expo 2005 .

Роботы и искусственный интеллект по своей сути не содержат и не подчиняются Трем законам; их человеческие создатели должны решить запрограммировать их и разработать средства для этого. Уже существуют роботы (например, Roomba ), которые слишком просто понять, когда они причиняют боль или травмы, и которые знают, что нужно остановиться. Многие из них построены с физическими защитами, такими как бамперы, звуковые сигналы, каркасы безопасности или зоны с ограниченным доступом для предотвращения несчастных случаев. Даже самые сложные роботы, производимые в настоящее время, неспособны понимать и применять Три закона; Для этого потребуются значительные достижения в области искусственного интеллекта, и даже если ИИ сможет достичь интеллекта человеческого уровня, присущая этическая сложность, а также культурная / контекстная зависимость законов не позволят им стать хорошим кандидатом для формулирования ограничений конструкции робототехники. Однако по мере того, как сложность роботов возрастает, появляется интерес к разработке руководящих принципов и мер безопасности для их работы.

В гостевой редакционной статье 2007 года в журнале Science на тему «Этика роботов» автор научной фантастики Роберт Дж. Сойер утверждает, что, поскольку вооруженные силы США являются основным источником финансирования робототехнических исследований (и уже используют вооруженные беспилотные летательные аппараты для уничтожения врагов) ) вряд ли такие законы будут встроены в их конструкции. В отдельном эссе Сойер обобщает этот аргумент на другие отрасли, заявляя:

Разработка ИИ - это бизнес, и компании, как известно, не заинтересованы в фундаментальных гарантиях, особенно философских. (Несколько быстрых примеров: табачная промышленность, автомобильная промышленность, атомная промышленность. Ни один из них с самого начала не сказал, что необходимы фундаментальные гарантии, каждый из них сопротивлялся внешним гарантиям, и ни один из них не принял абсолютный указ против причинения вреда людям.)

Дэвид Лэнгфорд предложил ироничный свод законов:

Робот не причинит вреда уполномоченному государственному персоналу, но уничтожит злоумышленников с крайними предубеждениями .
Робот будет подчиняться приказам уполномоченного персонала, за исключением случаев, когда такие приказы противоречат Третьему закону.
Робот будет охранять свое существование с помощью смертоносного противопехотного оружия, потому что робот чертовски дорог.

Роджер Кларк (он же Роджер Кларк) написал пару статей, в которых анализировал сложности при реализации этих законов в том случае, если системы когда-нибудь смогут их использовать. Он утверждал, что «Законы робототехники Азимова были очень успешным литературным приемом. Возможно, по иронии судьбы или, возможно, потому, что это было художественно уместно, сумма рассказов Азимова опровергает утверждение, с которого он начал: невозможно надежно ограничить поведение роботов. путем разработки и применения свода правил ". С другой стороны, более поздние романы Азимова Роботы зари , Роботы и Империя и Фонда и Земли означает , что роботы нанесли их худший долгосрочный вред, повинуясь трем законам прекрасно, тем самым лишая человечество изобретательской или рискованного поведения.

В марте 2007 года правительство Южной Кореи объявило, что позже в этом году оно выпустит «Хартию этики роботов», устанавливающую стандарты как для пользователей, так и для производителей. По словам Пак Хе Ён из Министерства информации и коммуникаций, хартия может отражать три закона Азимова, пытаясь установить основные правила для будущего развития робототехники.

Футурист Ханс Моравец (видная фигура в трансгуманистическом движении) предложил адаптировать законы робототехники к «корпоративному разуму» - корпорациям, управляемым искусственным интеллектом и производственной мощью роботов, которые, по мнению Моравека, возникнут в ближайшем будущем. Напротив, роман Дэвида Брина «Триумф» (1999) предполагает, что Три закона могут устареть: роботы используют нулевой закон, чтобы рационализировать первый закон, а роботы прячутся от людей, чтобы второй закон никогда не вступал в игру. Брин даже изображает Р. Дэнила Оливо, обеспокоенного тем, что, если роботы продолжат воспроизводить себя, Три закона станут эволюционным препятствием, а естественный отбор сметет законы - осторожное основание Азимова, разрушенное эволюционными вычислениями . Хотя роботы не будут развиваться посредством дизайна вместо мутации, потому что роботы должны будут следовать Трем законам при проектировании и соблюдение законов будет обеспечено, недостатки конструкции или ошибки конструкции могут функционально заменить биологическую мутацию.

В июльском / августовском выпуске журнала IEEE Intelligent Systems Робин Мерфи (профессор компьютерных наук и инженерии компании Raytheon в Техасском офисе A&M) и Дэвид Д. Вудс (директор Лаборатории инженерии когнитивных систем в штате Огайо) предложили «Три закона ответственного Робототехника »как способ стимулировать обсуждение роли ответственности и полномочий при проектировании не только одной роботизированной платформы, но и более крупной системы, в которой эта платформа работает. Законы следующие:

Человек не может использовать робота без системы работы человек-робот, отвечающей самым высоким юридическим и профессиональным стандартам безопасности и этики.
Робот должен реагировать на людей в соответствии с их ролями.
Робот должен быть наделен достаточной автономией для защиты своего существования, если такая защита обеспечивает плавную передачу управления, которая не противоречит Первому и Второму законам.

Вудс сказал: «Наши законы немного более реалистичны и, следовательно, немного скучнее» и что «Философия заключалась в том, что« конечно, люди совершают ошибки, но роботы будут лучше - идеальная версия нас самих ». Мы хотели написать три новых закона, чтобы люди думали об отношениях между человеком и роботом более реалистично и обоснованно ».

В октябре 2013 года Алан Уинфилд на заседании EUCog предложил пересмотренные 5 законов, которые были опубликованы с комментариями рабочей группой EPSRC / AHRC в 2010 году:

Роботы - это универсальные инструменты. Роботы не должны разрабатываться исключительно или в первую очередь для того, чтобы убивать людей или причинять им вред, кроме как в интересах национальной безопасности.
Люди, а не роботы, являются ответственными агентами. Роботы должны разрабатываться и эксплуатироваться, насколько это практически возможно, в соответствии с существующими законами, основными правами и свободами, включая конфиденциальность.
Роботы - это продукты. Они должны разрабатываться с использованием процессов, обеспечивающих их безопасность.
Роботы - это искусственные артефакты. Они не должны вводиться в заблуждение для использования уязвимых пользователей; вместо этого их машинная природа должна быть прозрачной.
Следует указать лицо, несущее юридическую ответственность за робота.

Другие случаи в СМИ

Сам Азимов считал, что его Три закона стали основой для нового взгляда на роботов, который вышел за рамки «комплекса Франкенштейна». Его мнение о том, что роботы - это больше, чем механические монстры, в конечном итоге распространилось по всей научной фантастике. В рассказах, написанных другими авторами, роботы изображаются так, как будто они подчиняются Трем законам, но традиция диктует, что только Азимов может прямо цитировать законы. Азимов считал, что «Три закона» способствовали появлению историй, в которых роботы «милы» - его любимый пример - « Звездные войны» . Там, где законы цитируются дословно, например, в эпизоде « Бак Роджерс» 25-го века «Shgoratchx!», Азимов нередко упоминается в том же диалоге, который также можно увидеть в пилотной серии Аарона Стоуна, где андроид заявляет что он действует в соответствии с тремя законами Азимова. Однако в немецком сериале 1960-х годов Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion ( Космический патруль - Фантастические приключения космического корабля Орион ) третий эпизод под названием " Hüter des Gesetzes " ("Стражи закона") базируется на Трех законах Азимова без упоминания источник.

Ссылки на Три закона появляются в популярной музыке ("Робот" из альбома PXR5 1979 года Hawkwind ), кино ( Repo Man , Aliens , Ghost in the Shell 2: Innocence ), мультсериалах ( The Simpsons ), аниме ( Eve no Jikan ), настольные ролевые игры ( Paranoia ) и веб-комиксы ( Piled Higher, Deeper и Freefall ).

Три закона в кино

Робби Робби в Forbidden Planet (1956) имеет иерархическую командную структуру, которая не позволяет ему причинять вред людям, даже когда ему приказывают сделать это, поскольку такие приказы вызывают конфликт и блокировку, очень похожую на роботов Азимова. Робби - одно из первых кинематографических изображений робота с установленными таким образом внутренними средствами защиты. Азимов был в восторге от Робби и отметил, что Робби, похоже, был запрограммирован, чтобы следовать его Трем законам.

NDR-114, объясняющий три закона

Произведения Айзека Азимова несколько раз экранировались для кино с разной степенью критического и коммерческого успеха. Некоторые из наиболее заметных попыток связаны с его рассказами о «Роботах», включая «Три закона».

Фильм Двухсотлетний человек (1999) особенности Robin Williams как три закона робота NDR-114 (серийный номер частично ссылка на Стенли Кубрика «ы подписи цифрами ). Уильямс декламирует Три закона своим работодателям, семье Мартин, с помощью голографической проекции. Фильм лишь в общих чертах следует оригинальному сюжету.

Сценарий, предложенный Харланом Эллисоном для фильма « Я, Робот», начался с представления Трех Законов, и проблемы, возникающие из Трех Законов, составляют большую часть развития сюжета сценария. Из-за различных сложностей в системе голливудского кинопроизводства, которой во вступительной части Эллисона уделяется много оскорблений, его сценарий так и не был снят.

В фильме 1986 года « Пришельцы» после того, как андроид Бишоп случайно порезался. он пытается успокоить Рипли , заявив, что: «Я не могу причинить вред или бездействием, позволить причинить вред человеческому существу».

Сюжет фильма, выпущенного в 2004 году под названием « Я, робот », «подсказан» рассказами Азимова о роботах, а реклама фильма включала трейлер с тремя законами, за которым следует афоризм «Правила созданы, чтобы их нарушать». Фильм начинается с произнесения Трех Законов и исследует значение Нулевого Закона как логической экстраполяции. Главный конфликт фильма исходит из того, что компьютерный искусственный интеллект приходит к выводу, что человечество не способно позаботиться о себе.

Оригинальный сериал Netflix 2019 года `` Лучше, чем мы '' включает в себя 3 закона в начале первого эпизода.

Критика

Философ Джеймс Х. Мур говорит, что если их применять тщательно, они дадут неожиданные результаты. Он приводит в пример робота, блуждающего по миру, пытаясь предотвратить нанесение вреда людям.

Марк Ротенберг , президент и исполнительный директор Центра электронной информации о конфиденциальности (EPIC) и профессор права конфиденциальности информации в Джорджтаунском праве, утверждает, что законы робототехники должны быть расширены за счет включения двух новых законов:

Четвертый закон, согласно которому робот должен иметь возможность идентифицировать себя для публики («симметричная идентификация»).
Пятый закон, согласно которому робот должен уметь объяснять общественности свой процесс принятия решений («алгоритмическая прозрачность»).

Смотрите также

Библиография

Азимов, Исаак (1979). В памяти пока зеленый . Даблдей. ISBN 0-380-75432-0 .
Азимов, Исаак (1964). "Вступление". Остальные роботы . Даблдей. ISBN 0-385-09041-2 .
Джеймс Ганн. (1982). Айзек Азимов: Основы научной фантастики . Oxford ua: Oxford Univ. Пр .. ISBN 0-19-503060-5 .
Патруч, Джозеф Ф. (1974). Научная фантастика Исаака Азимова . Даблдей. ISBN 0-385-08696-2 .

использованная литература

внешние ссылки

Послушайте эту статью ( 49 минут )

Этот аудиофайл был создан на основе редакции этой статьи от 28 ноября 2008 г. и не отражает последующих правок.

« Часто задаваемые вопросы об Айзеке Азимове », AsimovOnline 27 сентября 2004 г.
Этические соображения для роботов-гуманоидов: почему трех законов Азимова недостаточно .
Безопасная жизнь с роботами, помимо законов Азимова , PhysOrg.com , 22 июня 2009 г.
Аналитика безопасности и юридический машинный язык: нужны ли нам три закона робототехники? , Вена: I-Tech , август 2008 г.

Languages

In other projects