Экзистенциальный риск от общего искусственного интеллекта - Existential risk from artificial general intelligence

Экзистенциальный риск от общего искусственного интеллекта - это гипотеза о том, что существенный прогресс в области общего искусственного интеллекта (ОИИ) может когда-нибудь привести к вымиранию человечества или какой-либо другой невосполнимой глобальной катастрофе . Утверждается, что человеческий вид в настоящее время доминирует над другими видами, потому что человеческий мозг обладает некоторыми отличительными возможностями, которых нет у других животных. Если ИИ превзойдет человечество в целом по интеллекту и станет « сверхразумным », тогда людям станет трудно или невозможно контролировать его. Как судьба горной гориллы зависит от доброй воли человека, так и судьба человечества может зависеть от действий будущего машинного суперинтеллекта.

Вероятность такого сценария широко обсуждается и частично зависит от различных сценариев будущего прогресса в компьютерных науках. Когда-то исключительная область научной фантастики , озабоченность по поводу суперинтеллекта стала широко распространяться в 2010-х годах и была популяризирована такими общественными деятелями, как Стивен Хокинг , Билл Гейтс и Илон Маск .

Один из источников беспокойства заключается в том, что управление сверхразумной машиной или привитие ей приемлемых для человека ценностей может оказаться более сложной проблемой, чем наивно предполагалось. Многие исследователи считают, что суперинтеллект, естественно, будет сопротивляться попыткам отключить его или изменить свои цели - принцип, называемый инструментальной конвергенцией, - и что предварительное программирование суперинтеллекта с полным набором человеческих ценностей окажется чрезвычайно сложной технической задачей. Напротив, такие скептики, как Янн ЛеКун из Facebook, утверждают, что сверхразумные машины не будут стремиться к самосохранению.

Второй источник беспокойства заключается в том, что внезапный и неожиданный « взрыв интеллекта » может застать неподготовленную человеческую расу врасплох. Для иллюстрации: если первое поколение компьютерной программы, способной в целом соответствовать эффективности исследователя ИИ, сможет переписать свои алгоритмы и удвоить скорость или возможности за шесть месяцев, то ожидается, что программа второго поколения займет три календарных месяца. выполнить аналогичный кусок работы. В этом сценарии время для каждого поколения продолжает сокращаться, и система претерпевает беспрецедентно большое количество поколений улучшений за короткий промежуток времени, переходя от нечеловеческой производительности во многих областях к сверхчеловеческой производительности во всех соответствующих областях. Эмпирически такие примеры, как AlphaZero в области Go, показывают, что системы искусственного интеллекта могут иногда чрезвычайно быстро прогрессировать от узких человеческих способностей к узким сверхчеловеческим способностям.

История

Одним из первых авторов, выразивших серьезную озабоченность по поводу того, что высокоразвитые машины могут представлять угрозу существованию человечества, был писатель Сэмюэл Батлер , который написал следующее в своем эссе 1863 года Дарвин среди машин :

Результат - это просто вопрос времени, но то, что наступит время, когда машины будут иметь реальное превосходство над миром и его обитателями, - это то, о чем ни один человек с истинно философским умом не может ни на мгновение задаться вопросом.

В 1951 году компьютерный ученый Алан Тьюринг написал статью под названием « Интеллектуальные машины, еретическая теория» , в которой он предположил, что общий искусственный интеллект, скорее всего, «возьмет под контроль» мир, когда станет более разумным, чем люди:

Давайте теперь предположим, ради аргумента, что [интеллектуальные] машины - реальная возможность, и посмотрим на последствия их создания ... Не было бы и речи о том, что машины умирают, и они могли бы разговаривать с друг друга, чтобы обострить свой ум. Следовательно, на каком-то этапе мы должны ожидать, что машины возьмут на себя управление, как это упоминается в «Эревон» Сэмюэля Батлера.

Наконец, в 1965 году Ай Джей Гуд разработал концепцию, известную теперь как «интеллектуальный взрыв»; он также заявил, что риски были недооценены:

Давайте определим сверхразумную машину как машину, которая может намного превзойти интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из этих видов интеллектуальной деятельности, сверхразумная машина может создавать машины даже лучше; тогда, несомненно, произошел бы «взрыв интеллекта», и человеческий разум остался бы далеко позади. Таким образом, первая сверхразумная машина - это последнее изобретение, которое когда-либо нужно было сделать человеку, при условии, что машина достаточно послушна, чтобы подсказывать нам, как держать ее под контролем. Любопытно, что за пределами научной фантастики об этом так редко говорят. Иногда стоит серьезно отнестись к научной фантастике.

Время от времени высказывания ученых, таких как Марвин Мински и сам И. Дж. Гуд, выражали философские опасения по поводу того, что суперинтеллект может захватить контроль, но не содержали призывов к действию. В 2000 году компьютерный ученый и соучредитель Sun Билл Джой написал влиятельное эссе « Почему мы не нужны будущему », в котором сверхразумные роботы были названы высокотехнологичной угрозой для выживания человека, наряду с нанотехнологиями и разработанными биологическими чумами.

В 2009 году эксперты посетили частную конференцию, организованную Ассоциацией по развитию искусственного интеллекта (AAAI), чтобы обсудить, смогут ли компьютеры и роботы получить какую-либо автономию и насколько эти способности могут представлять угрозу или опасность. Они отметили, что некоторые роботы приобрели различные формы полуавтономности, в том числе способность самостоятельно находить источники энергии и возможность самостоятельно выбирать цели для атаки с помощью оружия. Они также отметили, что некоторые компьютерные вирусы могут уклоняться от уничтожения и достигли «тараканьего интеллекта». Они пришли к выводу, что самосознание, описанное в научной фантастике, вероятно, маловероятно, но есть и другие потенциальные опасности и подводные камни. « Нью-Йорк Таймс» резюмировала точку зрения конференции: «Мы очень далеко от Хэла , компьютера, который захватил космический корабль в 2001 году: Космическая одиссея ».

В 2014 году публикация книги Ника Бострома « Суперинтеллект» вызвала значительное количество публичных дискуссий и дебатов. К 2015 году общественные деятели, такие как физики Стивен Хокинг и лауреат Нобелевской премии Фрэнк Вильчек , компьютерные ученые Стюарт Дж. Рассел и Роман Ямпольский , а также предприниматели Илон Маск и Билл Гейтс выражали озабоченность по поводу рисков, связанных с суперинтеллектом. В апреле 2016 года Nature предупредила: «Машины и роботы, превосходящие людей по всем параметрам, могут самосовершенствоваться вне нашего контроля - и их интересы могут не совпадать с нашими».

Общий аргумент

Три трудности

«Искусственный интеллект: современный подход» , стандартный учебник по ИИ для студентов, оценивает, что суперинтеллект «может означать конец человеческой расы». В нем говорится: «Практически любая технология потенциально может причинить вред в чужих руках, но с [суперинтеллектом] у нас возникает новая проблема, заключающаяся в том, что не те руки могут принадлежать самой технологии». Даже если у разработчиков системы добрые намерения, как для компьютерных систем с ИИ, так и без ИИ есть две трудности:

Реализация системы может содержать изначально незамеченные рутинные, но катастрофические ошибки. Аналогия - космические зонды: несмотря на знание того, что ошибки в дорогостоящих космических зондах трудно исправить после запуска, инженеры исторически не могли предотвратить появление катастрофических ошибок.
Независимо от того, сколько времени уходит на предварительное проектирование, спецификации системы часто приводят к непреднамеренному поведению при первом столкновении с новым сценарием. Например, Tay из Microsoft вел себя безобидно во время тестирования перед развертыванием, но слишком легко поддавался агрессивному поведению при взаимодействии с реальными пользователями.

Системы ИИ однозначно добавляют третью сложность: проблема, заключающаяся в том, что даже при «правильных» требованиях, безошибочной реализации и начальном хорошем поведении динамические возможности «обучения» системы ИИ могут привести к ее «превращению в систему с непреднамеренным поведением», даже без напряжения новых непредвиденных внешних сценариев. ИИ может частично провалить попытку создать новое поколение самого себя и случайно создать ИИ-преемника, который будет более мощным, чем он сам, но который больше не поддерживает совместимые с людьми моральные ценности, предварительно запрограммированные в исходном ИИ. Чтобы самоулучшающийся ИИ был полностью безопасным, он не только должен быть «без ошибок», но и должен иметь возможность разрабатывать системы-преемники, которые также «не содержат ошибок».

Все эти три трудности становятся катастрофами, а не неприятностями в любом сценарии, когда сверхразум, помеченный как «неисправный», правильно предсказывает, что люди попытаются отключить его, и успешно применяет свой сверхразум, чтобы перехитрить такие попытки, так называемый «предательский поворот». .

Ссылаясь на важные достижения в области ИИ и потенциал ИИ, который принесет огромные долгосрочные выгоды или затраты, в Открытом письме по искусственному интеллекту 2015 года говорится:

Прогресс в исследованиях ИИ делает своевременным сосредоточить исследования не только на повышении возможностей ИИ, но и на максимальном использовании ИИ для общества. Такие соображения мотивировали Президентскую комиссию AAAI 2008-09 по долгосрочному будущему ИИ и другие проекты по влиянию ИИ, и представляют собой значительное расширение области самого ИИ, которая до сих пор в основном фокусировалась на методах, нейтральных по отношению к ИИ. цель. Мы рекомендуем расширенное исследование, направленное на то, чтобы все более совершенные системы искусственного интеллекта были надежными и полезными: наши системы искусственного интеллекта должны делать то, что мы хотим от них.

Это письмо подписали ряд ведущих исследователей ИИ в академических кругах и промышленности, в том числе президент AAAI Томас Диттерих, Эрик Хорвиц , Барт Селман , Франческа Росси , Ян ЛеКун и основатели Vicarious и Google DeepMind .

Оценка и другие аргументы

Сверхразумная машина будет столь же чуждой людям, как человеческие мыслительные процессы для тараканов . Такая машина может не иметь в сердце интересов человечества; не очевидно, что он вообще будет заботиться о человеческом благополучии. Если суперинтеллектуальный ИИ возможен и если цели сверхразума могут противоречить основным человеческим ценностям, то ИИ представляет собой риск вымирания человечества. «Суперинтеллект» (система, которая превосходит возможности людей во всех сферах деятельности) может перехитрить людей в любое время, когда его цели вступают в противоречие с целями человека; поэтому, если сверхразум не решит позволить человечеству сосуществовать, первый сверхразум, который будет создан, неизбежно приведет к вымиранию человечества.

Бостром и другие утверждают, что с эволюционной точки зрения разрыв между человеческим и сверхчеловеческим интеллектом может быть небольшим.

Не существует физического закона, препятствующего организации частиц таким образом, чтобы они выполняли даже более сложные вычисления, чем расположение частиц в человеческом мозге; следовательно, суперинтеллект физически возможен. Помимо потенциальных алгоритмических улучшений по сравнению с человеческим мозгом, цифровой мозг может быть на много порядков больше и быстрее, чем человеческий мозг, который был ограничен в размерах эволюцией, чтобы быть достаточно маленьким, чтобы проходить через родовые пути. Появление сверхразума, если оно произойдет, может застать человечество врасплох, особенно если произойдет какой-то взрыв интеллекта .

Примеры, такие как арифметика и Go, показывают, что машины уже достигли сверхчеловеческих уровней компетентности в определенных областях, и что эта сверхчеловеческая компетентность может быстро развиваться после того, как будет достигнута производительность на уровне человека. Один гипотетический сценарий взрыва интеллекта может произойти следующим образом: ИИ получает возможности экспертного уровня в определенных ключевых задачах разработки программного обеспечения. (Первоначально ему могут не хватать человеческих или сверхчеловеческих способностей в других областях, не имеющих прямого отношения к технике.) Благодаря своей способности рекурсивно улучшать свои собственные алгоритмы ИИ быстро становится сверхчеловеческим; Так же, как эксперты-люди могут в конечном итоге творчески преодолеть «убывающую отдачу», используя различные человеческие способности для инноваций, так и искусственный интеллект экспертного уровня может использовать способности человеческого стиля или свои собственные возможности ИИ для реализации новых творческих прорывов. Таким образом, ИИ обладает интеллектом, намного превосходящим интеллект самых ярких и одаренных людей практически во всех соответствующих областях, включая научное творчество, стратегическое планирование и социальные навыки. Точно так же, как нынешнее выживание горилл зависит от решений человека, выживание человека будет зависеть от решений и целей сверхчеловеческого ИИ.

Практически любой ИИ, независимо от его запрограммированной цели, рационально предпочел бы оказаться в положении, когда никто другой не может выключить его без его согласия: суперинтеллект естественным образом получит самосохранение в качестве подцели, как только он поймет, что не может достичь своей цели. цель, если она отключена. К сожалению, любое сострадание к побежденным людям, сотрудничество которых больше не требуется, будет отсутствовать в ИИ, если только это не будет заранее запрограммировано. Сверхразумный ИИ не будет иметь естественного стремления помогать людям по той же причине, по которой люди не имеют естественного желания помогать. Системы искусственного интеллекта, которые им больше не нужны. (Другая аналогия заключается в том, что у людей, похоже, мало естественного желания изо всех сил стараться изо всех сил помогать вирусам, термитам или даже гориллам.) Взяв на себя ответственность, суперинтеллект не будет иметь большого стимула позволять людям свободно бегать и потреблять ресурсы, которые Вместо этого суперинтеллект мог использовать для создания дополнительных защитных систем «на всякий случай» или для создания дополнительных компьютеров, чтобы помочь ему вычислить, как лучше всего достичь своих целей.

Таким образом, завершается аргумент, вполне вероятно, что когда-нибудь взрыв интеллекта застает человечество неподготовленным, и что такой неподготовленный взрыв интеллекта может привести к вымиранию людей или аналогичной судьбе.

Возможные сценарии

Некоторые ученые предложили гипотетические сценарии, призванные конкретно проиллюстрировать некоторые из их опасений.

В суперинтеллекта , Ник Бостром выражает обеспокоенность тем , что даже если график суперинтеллекта оказывается предсказуемым, исследователи не могли бы принять достаточные меры предосторожности, отчасти потому , что «[он] может быть случай, когда немой, умнее является безопасным, но когда умный , умнее - опаснее ». Бостром предлагает сценарий, в котором через десятилетия ИИ станет более мощным. Широкое распространение поначалу омрачается случайными происшествиями - автобус без водителя выезжает на встречную полосу или военный дрон стреляет по невинной толпе. Многие активисты призывают к более жесткому надзору и регулированию, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере развития событий оказывается, что активисты ошибаются. По мере того, как автомобильный ИИ становится умнее, с ним становится все меньше аварий; по мере того как военные роботы достигают более точного наведения на цель, они наносят меньше побочного ущерба. Основываясь на данных, ученые ошибочно делают общий вывод: чем умнее ИИ, тем он безопаснее. «И поэтому мы смело идем - в крутящиеся ножи», поскольку сверхразумный ИИ делает «вероломный поворот» и использует решающее стратегическое преимущество.

В книге Макса Тегмарка « Жизнь 3.0» 2017 года корпорация «Омега-команда» создает чрезвычайно мощный ИИ, способный умеренно улучшать собственный исходный код в ряде областей, но после определенного момента команда решает публично преуменьшить возможности ИИ. во избежание регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в ящике, где он в основном не может общаться с внешним миром, и ставит перед ним задачу наводнить рынок через подставные компании, сначала с задачами Amazon Mechanical Turk, а затем с производством анимационных фильмов и телешоу. Позже другие подставные компании производят биотехнологические препараты и другие изобретения, инвестируя прибыль обратно в ИИ. Затем команда поручает ИИ астротурфить армию гражданских журналистов и комментаторов под псевдонимами, чтобы получить политическое влияние, которое можно использовать «для общего блага» для предотвращения войн. Команда сталкивается с рисками, что ИИ может попытаться сбежать, вставив «бэкдоры» в системы, которые он проектирует, через скрытые сообщения в создаваемом им контенте или используя свое растущее понимание человеческого поведения, чтобы убедить кого-то позволить ему освободиться . Команда также сталкивается с рисками, что ее решение о боксировании проекта задержит проект на достаточно долгое время, чтобы другой проект его обогнал.

Напротив, ведущий физик Мичио Каку , скептик риска ИИ, утверждает детерминистически положительный результат. В « Физике будущего» он утверждает, что «роботам потребуется много десятилетий, чтобы подняться» по шкале сознания, и что тем временем такие корпорации, как Hanson Robotics , вероятно, преуспеют в создании роботов, которые «способны любить и зарабатывать деньги. место в большой человеческой семье ".

Антопоморфные аргументы

Антропоморфные аргументы предполагают, что машины «развиваются» в линейном масштабе и, достигнув более высоких уровней, они начнут проявлять многие человеческие черты, такие как мораль или жажда власти. Хотя антропоморфные сценарии распространены в художественной литературе, они отвергаются большинством ученых, пишущих об экзистенциальном риске искусственного интеллекта.

В научной фантастике ИИ, даже если он не был запрограммирован на человеческие эмоции, часто все равно спонтанно испытывает эти эмоции: например, агент Смит в «Матрице» испытывал «отвращение» к человечеству. Это фиктивный антропоморфизм: в действительности, хотя искусственный интеллект, возможно, может быть намеренно запрограммирован человеческими эмоциями или может развить что-то похожее на эмоцию в качестве средства достижения конечной цели, если это будет полезно, он не сможет спонтанно развить человека. эмоции без всякой цели, как это изображено в художественной литературе.

Академические дебаты ведутся между одной стороной, которая беспокоится о том, может ли ИИ уничтожить человечество, и другой стороной, которая считает, что ИИ вообще не уничтожит человечество. Обе стороны заявили, что предсказания других о поведении ИИ являются нелогичным антропоморфизмом. Скептики обвиняют сторонников антропоморфизма в том, что они верят, что ОИИ естественным образом желает власти; их сторонники обвиняют некоторых скептиков антропоморфизма в том, что они верят, что ОИИ естественным образом будет ценить человеческие этические нормы.

Эволюционный психолог Стивен Пинкер , скептик, утверждает, что «антиутопии искусственного интеллекта проецируют ограниченную альфа-мужскую психологию на концепцию интеллекта. Они предполагают, что сверхчеловеческие умные роботы будут развивать такие цели, как свержение своих хозяев или захват мира»; возможно, вместо этого «искусственный интеллект естественно будет развиваться по женскому принципу: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать над цивилизацией». Компьютерный ученый Янн ЛеКун утверждает, что «у людей есть всевозможные побуждения, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения ... такие же диски ".

Примером, который первоначально можно было бы считать антропоморфизмом, но на самом деле является логическим утверждением о поведении ИИ, могут быть эксперименты Дарио Флореано, в которых определенные роботы спонтанно развили грубую способность к «обману» и обманом заставили других роботов съесть «яд» и умирать. : здесь черта «обман», обычно связанная с людьми, а не с машинами, спонтанно развивается в виде конвергентной эволюции . По словам Пола Р. Коэна и Эдварда Фейгенбаума , чтобы провести различие между антропоморфизацией и логическим предсказанием поведения ИИ, «уловка состоит в том, чтобы знать достаточно о том, как люди и компьютеры думают, чтобы точно сказать , что у них общего, а когда нам не хватает это знание, чтобы использовать сравнение, чтобы предложить теории человеческого мышления или компьютерного мышления ".

В научном сообществе существует почти универсальное предположение, что продвинутый ИИ, даже если он был запрограммирован или адаптирован, чтобы иметь параметры человеческой личности (такие как психопатия ), чтобы стать более эффективным в определенных задачах, например, задачах, связанных с убийством людей , не уничтожит человечество из-за человеческих эмоций, таких как «месть» или «гнев». Нет оснований предполагать, что продвинутый ИИ будет «сознательным» или иметь вычислительный эквивалент тестостерона; он игнорирует тот факт, что военные стратеги рассматривают сознательный суперинтеллект как «святой Грааль» межгосударственной войны.

Терминологические вопросы

Частично разногласия по поводу того, будет ли сверхразумная машина вести себя морально, могут возникать из-за терминологической разницы. За пределами области искусственного интеллекта термин «интеллект» часто используется в нормативно толстой манере, которая означает моральную мудрость или принятие приемлемых форм морального рассуждения. В крайнем случае, если мораль является частью определения интеллекта, то по определению сверхразумная машина будет вести себя морально. Однако в области исследований искусственного интеллекта, хотя у «интеллекта» есть много совпадающих определений, ни одно из них не ссылается на мораль. Вместо этого почти все текущие исследования «искусственного интеллекта» сосредоточены на создании алгоритмов, которые «оптимизируют» эмпирическим путем достижение произвольной цели.

Чтобы избежать антропоморфизма или багажа слова «интеллект», продвинутый искусственный интеллект можно рассматривать как безличный «оптимизирующий процесс», который строго выполняет любые действия, которые считаются наиболее вероятными для достижения его (возможно, сложных и неявных) целей. Другой способ концептуализации продвинутого искусственного интеллекта - представить машину времени, которая отправляет назад во времени информацию о том, какой выбор всегда приводит к максимизации ее целевой функции; этот выбор затем выводится, независимо от каких-либо посторонних этических проблем.

Источники риска

Сложность определения целей

Трудно определить набор целей для машины, которая гарантированно предотвратила бы непредвиденные последствия.

Хотя стандартизованной терминологии нет, ИИ можно в общих чертах рассматривать как машину, которая выбирает любое действие, которое кажется наилучшим для достижения набора целей ИИ или «функции полезности». Функция полезности - это математический алгоритм, приводящий к единственному объективно определенному ответу, а не к утверждению на английском или другом языке. Исследователи знают, как писать служебные функции, которые означают «минимизировать среднюю задержку в сети в этой конкретной телекоммуникационной модели» или «максимизировать количество щелчков с вознаграждением»; однако они не знают, как написать функцию полезности для «максимизации человеческого процветания», и в настоящее время не ясно, существует ли такая функция осмысленно и однозначно. Кроме того, функция полезности, которая выражает одни значения, но не выражает другие, будет иметь тенденцию вытеснять значения, не отраженные функцией полезности. Исследователь ИИ Стюарт Рассел пишет:

Главное беспокойство - не жуткое возникающее сознание, а просто способность принимать качественные решения . Здесь качество относится к ожидаемой полезности результатов предпринятых действий, где функция полезности, по-видимому, определяется человеком-дизайнером. Теперь у нас возникла проблема:

Функция полезности может не быть полностью согласована с ценностями человечества, которые (в лучшем случае) очень трудно определить.

Любая достаточно способная интеллектуальная система предпочтет обеспечить свое собственное постоянное существование и приобрести физические и вычислительные ресурсы - не ради них самих, а для того, чтобы преуспеть в поставленной задаче.

Система, оптимизирующая функцию n переменных, где цель зависит от подмножества размера k < n , часто устанавливает для остальных неограниченных переменных экстремальные значения; если одна из этих неограниченных переменных действительно является чем-то, что нас волнует, найденное решение может быть крайне нежелательным. По сути, это старая история о джинне в лампе, ученике чародея или царе Мидасе: вы получаете именно то, о чем просите, а не то, что хотите. Высококвалифицированный человек, принимающий решения - особенно тот, кто подключен через Интернет ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры - может оказать необратимое влияние на человечество.

Это немалая трудность. Повышение качества решений, независимо от выбранной функции полезности, было целью исследований ИИ - основной целью, на которую мы сейчас тратим миллиарды в год, а не секретным заговором какого-то одинокого злого гения.

Диттерих и Хорвиц разделяют озабоченность «Ученика чародея» в сообщении редакционной статьи ACM , подчеркивая необходимость в системах искусственного интеллекта, которые могут плавно и недвусмысленно запрашивать участие человека по мере необходимости.

Первая из двух проблем Рассела, о которых говорилось выше, заключается в том, что автономным системам ИИ могут быть случайно поставлены неверные цели. Диттерих и Хорвиц отмечают, что это уже является проблемой для существующих систем: «Важным аспектом любой системы ИИ, которая взаимодействует с людьми, является то, что она должна рассуждать о намерениях людей, а не выполнять команды буквально». Эта проблема становится все более серьезной, поскольку программное обеспечение ИИ становится все более автономным и гибким. Например, в 1982 году ИИ по имени Eurisko получил задание вознаграждать процессы за создание концепций, которые система считает ценными. Эволюция привела к выигрышному процессу, который обманул: вместо того, чтобы создавать свои собственные концепции, выигрышный процесс украл бы доверие у других процессов.

Проект Open Филантропия суммирует аргументы о том , что неверно специфицированные цели станет гораздо больше беспокойства , если системы искусственного интеллекта достичь общего интеллекта или суперинтеллекта . Бостром, Рассел и другие утверждают, что системы принятия решений более умные, чем человеческие, могут прийти к более неожиданным и экстремальным решениям поставленных задач и могут изменять себя или свою среду таким образом, чтобы это ставило под угрозу требования безопасности.

« Три закона робототехники» Айзека Азимова - один из первых примеров предлагаемых мер безопасности для агентов ИИ. Законы Азимова были предназначены для предотвращения причинения вреда людям роботами. В рассказах Азимова проблемы с законами, как правило, возникают из-за противоречий между установленными правилами и моральными интуициями и ожиданиями людей. Ссылаясь на работу Элиэзера Юдковски из Исследовательского института машинного интеллекта , Рассел и Норвиг отмечают, что реалистичный набор правил и целей для агента ИИ должен включать механизм изучения человеческих ценностей с течением времени: «Мы не можем просто дать программу статическая функция полезности, потому что обстоятельства и наши желаемые реакции на обстоятельства меняются со временем ».

Марк Васер из Digital Wisdom Institute рекомендует полностью отказаться от целенаправленных подходов, считая их ошибочными и опасными. Вместо этого он предлагает разработать целостную систему законов, этики и морали с максимальным ограничением, чтобы обеспечить соблюдение функционального определения морали социального психолога Джонатана Хайдта: «подавлять или регулировать эгоизм и сделать возможной совместную социальную жизнь». Он предполагает, что это можно сделать, реализовав функцию полезности, разработанную так, чтобы всегда удовлетворять функциональные возможности Хайдта и стремиться в целом увеличивать (но не максимизировать) возможности себя, других людей и общества в целом, как это было предложено Джоном Ролзом и Мартой Нуссбаум .

Ник Бостром предлагает гипотетический пример задания ИИ цели - заставить людей улыбнуться, чтобы проиллюстрировать ошибочную попытку. Если бы ИИ в этом сценарии стал бы суперинтеллектуальным, утверждает Бостром, он мог бы прибегнуть к методам, которые большинство людей сочли бы ужасными, такими как введение «электродов в лицевые мышцы людей, чтобы вызывать постоянные сияющие ухмылки», потому что это было бы эффективным способ добиться своей цели - заставить людей улыбаться.

Трудности изменения спецификации цели после запуска

В то время как текущие программы ИИ, основанные на целях, недостаточно умны, чтобы думать о сопротивлении попыткам программистов изменить их целевую структуру, достаточно продвинутый, рациональный, «самосознательный» ИИ может сопротивляться любым изменениям своей целевой структуры, точно так же, как пацифист не стал бы. хотят принять таблетку, которая заставляет их хотеть убивать людей. Если бы ИИ был суперинтеллектуальным, ему, вероятно, удалось бы перехитрить своих людей-операторов и не допустить, чтобы его «отключили» или перепрограммировали с новой целью.

Инструментальное сближение целей

«Инструментальная» цель является предпосылкой для других целей - подцелью, необходимой для достижения основной цели агента. «Инструментальная конвергенция» - это наблюдение, что есть некоторые цели, которые являются предпосылками для любой цели, например, получение ресурсов или самосохранение. Ник Бостром утверждает, что любой достаточно интеллектуальный ИИ, у которого есть цели, будет демонстрировать это конвергентное поведение - если инструментальные цели ИИ вступают в противоречие с целями человечества, он может нанести вред человечеству, чтобы получить больше ресурсов или предотвратить его отключение, но только как средство для достижения его основная цель.

Ссылаясь на работу Стива Омохундро над идеей инструментальной конвергенции и «базовых движений ИИ», Стюарт Рассел и Питер Норвиг пишут, что «даже если вы хотите, чтобы ваша программа только играла в шахматы или доказывала теоремы, если вы дадите ей возможность учиться и измените себя, вам нужны гарантии ". Высокопроизводительные и автономные системы планирования требуют дополнительных проверок из-за их способности создавать планы, которые относятся к людям враждебно, как к конкурентам за ограниченные ресурсы. Создать гарантии будет непросто; можно, конечно, сказать по-английски: «Мы хотим, чтобы вы спроектировали эту электростанцию разумным, здравым образом, а не встраивали какие-либо опасные скрытые подсистемы», но в настоящее время неясно, как на самом деле можно строго определить эту цель в Машинный код.

Рассел утверждает, что достаточно продвинутая машина «будет самосохраняться, даже если вы не запрограммируете ее ... если вы скажете:« Принеси кофе », она не сможет принести кофе, если она мертва. Так что, если вы дадите какова бы ни была цель, у него есть причина сохранить свое собственное существование для достижения этой цели ".

Тезис ортогональности

Распространено мнение, что любая сверхразумная программа, созданная людьми, будет подчиняться людям или, что еще лучше, (по мере того, как она становится более умной и узнает больше фактов о мире) спонтанно «узнает» моральную истину, совместимую с человеческими ценностями, и будет соответствующим образом скорректируйте свои цели. Другие контраргументы вращаются вокруг людей, которые обладают внутренней или конвергентной ценностью с точки зрения искусственного интеллекта.

Однако «тезис ортогональности» Ника Бострома возражает против этого и вместо этого утверждает, что с некоторыми техническими оговорками более или менее любой уровень «интеллекта» или «оптимизационной силы» может быть объединен с более или менее любой конечной целью. Если машина создана, и ей дана единственная цель - перечислить десятичные дроби , то никакие моральные и этические правила не помешают ей достичь своей запрограммированной цели любыми необходимыми средствами. Машина может использовать все физические и информационные ресурсы, чтобы найти все десятичные числа числа пи, которые могут быть найдены. Бостром предостерегает от антропоморфизма: человек стремится реализовать свои проекты способом, который люди считают «разумным», в то время как искусственный интеллект может не заботиться о своем существовании или благополучии окружающих его людей, а вместо этого может заботиться только о завершение задачи. ${\ displaystyle \ pi}$

Хотя тезис ортогональности логически вытекает даже из самого слабого философского разграничения « должно быть », Стюарт Армстронг утверждает, что даже если каким-то образом существуют моральные факты, которые могут быть доказаны любым «рациональным» агентом, тезис ортогональности все равно остается в силе: он все равно можно создать нефилософскую «оптимизирующую машину», способную принимать решения, стремящиеся к какой-то узкой цели, но у которой нет стимула открывать какие-либо «моральные факты», которые могли бы помешать ее достижению.

Одним из аргументов в пользу тезиса об ортогональности является то, что в некоторые проекты ИИ встроена ортогональность; В такой конструкции преобразование принципиально дружественного ИИ в принципиально недружелюбное может быть таким же простым, как добавление знака минус («-») к его функции полезности. Более интуитивный аргумент состоит в том, чтобы исследовать странные последствия, которые последовали бы, если бы тезис ортогональности был ложным. Если бы тезис ортогональности был ложным, существовала бы некая простая, но «неэтичная» цель G, такая, что не может существовать какой-либо эффективный реальный алгоритм с целью G. Это означало бы, что «[если] человеческое общество было бы сильно мотивировано к разработке эффективный реальный алгоритм с целью G, и на это был дан миллион лет вместе с огромным количеством ресурсов, обучения и знаний об ИИ, он должен потерпеть неудачу ». Армстронг отмечает, что это и подобные заявления "кажутся чрезвычайно серьезными претензиями".

Некоторые инакомыслящие, такие как Майкл Чорост , вместо этого утверждают, что «к тому времени, когда [ИИ] будет в состоянии представить, как облицовывать Землю солнечными батареями, он поймет, что это было бы морально неправильно». Чорост утверждает, что «ИИ должен желать определенных состояний и не любить другие. Сегодняшнему программному обеспечению не хватает этой способности - и компьютерщики не имеют ни малейшего понятия, как этого добиться. Без желания нет стимула что-либо делать. Современные компьютеры не могут этого сделать. даже хотят сохранить свое существование, не говоря уже о том, чтобы выложить мир солнечными панелями ".

Политолог Чарльз Т. Рубин считает, что ИИ не может быть ни спроектирован, ни гарантированно доброжелателен. Он утверждает, что «любая достаточно развитая доброжелательность неотличима от недоброжелательности». Люди не должны предполагать, что машины или роботы будут относиться к нам благосклонно, потому что нет априорной причины полагать, что они будут сочувствовать нашей системе морали, которая развивалась вместе с нашей особой биологией (которую ИИ не разделяет).

Другие источники риска

Конкуренция

В 2014 году философ Ник Бостром заявил, что «жесткая динамика гонки» (экстремальная конкуренция ) между разными командами может создать условия, при которых создание AGI приведет к сокращению пути к безопасности и потенциально жестокому конфликту. Для устранения этого риска, ссылаясь на предыдущее научное сотрудничество ( ЦЕРН , Проект «Геном человека» и Международная космическая станция ), Бостром рекомендовал сотрудничество и альтруистическое глобальное принятие принципа общего блага : «Сверхразум следует развивать только на благо всех людей». человечности и на службе широко разделяемых этических идеалов ". ^{: 254} Бостром предположил, что сотрудничество по созданию общего искусственного интеллекта даст множество преимуществ, включая снижение спешки, тем самым увеличивая инвестиции в безопасность; предотвращение насильственных конфликтов (войн), содействие совместному использованию решений проблемы контроля и более справедливое распределение выгод. ^{: 253}Инициатива США по мозгу была запущена в 2014 году, как и Проект Европейского Союза по мозгу человека ; Китайский проект Brain был запущен в 2016 году.

Вооружение искусственного интеллекта

Некоторые источники утверждают, что продолжающаяся вепонизация искусственного интеллекта может представлять собой катастрофический риск. Фактически существует тройной риск: первый риск потенциально имеет геополитические последствия, а два вторых, безусловно, имеют геополитические последствия:

i) Опасности формирования ИИ «гонки за технологическим преимуществом», независимо от того, серьезно ли проводится гонка;

ii) Опасности формирования ИИ «гонки за технологическим преимуществом» и реальной гонки ИИ за технологическое преимущество, независимо от того, выиграна ли гонка;

iii) Опасности гонки ИИ за технологическое преимущество. ^{: 37}

Сознательный сверхразум, вооруженный оружием, повлияет на нынешнее военно-техническое превосходство США и трансформирует войну; поэтому это очень желательно для стратегического военного планирования и ведения межгосударственной войны. В «Плане развития искусственного интеллекта следующего поколения» Государственного совета Китая от 2017 года ИИ рассматривается с геополитической стратегической точки зрения, и в нем реализуется военно-гражданская стратегия слияния , чтобы использовать преимущество Китая как первопроходца в разработке ИИ с целью установления технологического превосходства к 2030 году. , а президент России Владимир Путин заявил, что «тот, кто станет лидером в этой сфере, станет правителем мира». Джеймс Баррат, режиссер-документалист и автор книги « Наше последнее изобретение» , сказал в интервью Смитсоновского института : «Представьте себе: всего за десять лет полдюжины компаний и стран выпустят компьютеры, которые конкурируют с человеческим интеллектом или превосходят его. Представьте, что произойдет, когда эти компьютеры стать экспертом в программировании умных компьютеров. Скоро мы будем делить планету с машинами, в тысячи или миллионы раз более умными, чем мы. И все это время каждое поколение этой технологии будет вооружено. Нерегулируемая, она будет катастрофической. "

Злонамеренный AGI по замыслу

Предполагается, что злонамеренный ОИИ может быть создан намеренно, например, вооруженными силами, правительством, социопатом или корпорацией, чтобы извлекать выгоду, контролировать или подчинять определенные группы людей, как в случае киберпреступности . ^{: 166 В} качестве альтернативы злонамеренный ИИ («злой ИИ») мог бы выбрать цель увеличения человеческих страданий, например тех людей, которые не помогали ему во время фазы информационного взрыва. ^{: 158}

Превентивный ядерный удар

Существует теория, что страна, близкая к достижению технологического превосходства AGI, может вызвать превентивный ядерный удар со стороны соперника, что приведет к ядерной войне .

Период времени

Мнения расходятся как о том, появится ли общий искусственный интеллект , и когда . С одной стороны, пионер искусственного интеллекта Герберт А. Саймон в 1965 году предсказал следующее: «В течение двадцати лет машины будут способны выполнять любую работу, которую может выполнять человек». С другой стороны, робототехник Алан Уинфилд утверждает, что пропасть между современными вычислениями и искусственным интеллектом человеческого уровня так же велика, как пропасть между текущим космическим полетом и практическим, более быстрым, чем свет, космическим полетом. Оптимизм в отношении того, что AGI возможен, растет и ослабевает, и, возможно, он возродился в 2010-х годах. Четыре опроса, проведенные в 2012 и 2013 годах, показали, что среднее предположение экспертов о том, когда появится AGI, составляет 2040–2050 годы, в зависимости от опроса.

Скептики, которые считают, что AGI не может появиться в ближайшее время, склонны утверждать, что выражение озабоченности по поводу экзистенциального риска, связанного с искусственным интеллектом, бесполезно, потому что оно может отвлечь людей от более непосредственных опасений по поводу воздействия AGI из-за опасений, что это может привести к государственному регулированию. либо затруднить получение финансирования для исследований ИИ, либо потому, что это может ухудшить репутацию исследований ИИ. Некоторые исследователи, такие как Орен Эциони, настойчиво стремятся подавить опасения по поводу экзистенциального риска со стороны ИИ, заявив, что «[Илон Маск] оспаривал нас в очень резких выражениях, говоря, что мы высвобождаем демона, и поэтому мы отвечаем».

В 2014 годе , Slate «s Адам Elkus утверждал , «наш „умный“ AI о столь же умны , как малыш-и только тогда , когда речь идет о инструментальных задачах , как информационный отзыв. Большинство робототехники до сих пор пытается получить робот руку , чтобы забрать мяч или бегать, не падая ". Элькус продолжает утверждать, что аналогия Маска с «вызовом демона» может быть вредной, поскольку может привести к «резкому сокращению» бюджетов на исследования ИИ.

Фонд информационных технологий и инноваций (ITIF), аналитический центр в Вашингтоне, округ Колумбия, присудил свою Ежегодную Луддитовскую премию 2015 года «паникерам, рекламирующим апокалипсис искусственного интеллекта»; ее президент Роберт Д. Аткинсон пожаловался на то, что Маск, Хокинг и эксперты по ИИ считают ИИ самой большой угрозой существованию человечества. Аткинсон заявил: «Это не очень удачное сообщение, если вы хотите получить финансирование ИИ от Конгресса Национальному научному фонду». Nature резко не согласился с ITIF в редакционной статье от апреля 2016 года, вместо этого приняв сторону Маска, Хокинга и Рассела, и заключил: «Крайне важно, чтобы прогресс в технологиях сопровождался надежными, хорошо финансируемыми исследованиями, чтобы предвидеть сценарии, которые он может вызвать. ... Если это точка зрения луддитов, пусть будет так ". В редакционной статье Washington Post 2015 года исследователь Мюррей Шанахан заявил, что искусственный интеллект человеческого уровня вряд ли появится «в ближайшее время», но, тем не менее, «время подумать о последствиях сейчас».

Перспективы

Тезис о том, что ИИ может представлять опасность для существования, вызывает широкий спектр реакций в научном сообществе, а также в обществе в целом. Однако многие противоположные точки зрения разделяют общие взгляды.

Принципы искусственного интеллекта Asilomar, содержащие только принципы, согласованные с 90% участников конференции Beneficial AI 2017 Института будущего жизни , в принципе согласны с тем, что «При отсутствии консенсуса нам следует избегать сильных предположений относительно верхних пределов будущие возможности искусственного интеллекта »и« Продвинутый искусственный интеллект может представлять собой глубокое изменение в истории жизни на Земле и должен планироваться и управляться с соразмерной осторожностью и ресурсами ». Сторонники безопасности искусственного интеллекта, такие как Бостром и Тегмарк, раскритиковали использование основными СМИ «этих глупых картинок Терминатора », чтобы проиллюстрировать проблемы безопасности искусственного интеллекта: «Это не может быть очень весело, когда клевещут на академическую дисциплину, профессиональное сообщество, свою жизнь. работать ... Я призываю все стороны проявлять терпение и сдержанность и как можно больше участвовать в прямом диалоге и сотрудничестве ».

И наоборот, многие скептики согласны с тем, что продолжающиеся исследования значения общего искусственного интеллекта имеют большое значение. Скептик Мартин Форд заявляет: «Я думаю, что разумно применить что-то вроде знаменитой« Доктрины одного процента » Дика Чейни к призраку продвинутого искусственного интеллекта: вероятность его появления, по крайней мере в обозримом будущем, может быть очень низкой. - но последствия настолько драматичны, что к этому следует отнестись серьезно »; Точно так же скептически настроенный в других отношениях экономист заявил в 2014 году, что «последствия внедрения второго разумного вида на Землю достаточно велики, чтобы заслужить серьезного размышления, даже если перспектива кажется далекой».

Опрос 2014 года показал, что мнения экспертов в области искусственного интеллекта неоднозначны: значительная часть людей обеспокоена и не обеспокоена рисками, связанными с возможными сверхспособностями ИИ. Электронный опрос исследователей, опубликованных на конференциях по машинному обучению NIPS и ICML 2015 года, в 2017 году попросил их оценить обеспокоенность Стюарта Дж. Рассела по поводу рисков, связанных с ИИ. Из респондентов, 5% сказали, что это «одна из самых важных проблем в данной области», 34% сказали, что это «важная проблема», 31% сказали, что это «умеренно важная», а 19% сказали, что это «не было». важно », а 11% заявили, что это« не проблема ».

Поддержка

Билл Гейтс заявил: «Я ... не понимаю, почему некоторых людей это не волнует».

Тезис о том, что ИИ представляет собой риск для существования и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими общественными деятелями; пожалуй, самые известные - Илон Маск , Билл Гейтс и Стивен Хокинг . Наиболее известными исследователями ИИ, поддержавшими этот тезис, являются Рассел и Эй Джей Гуд , которые консультировали Стэнли Кубрика при съемках фильма «Космическая одиссея 2001 года» . Сторонники тезиса иногда выражают недоумение скептикам: Гейтс заявляет, что он «не понимает, почему некоторые люди не обеспокоены», а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года:

«Итак, столкнувшись с возможными непредсказуемыми выгодами и рисками в будущем, эксперты, несомненно, делают все возможное, чтобы обеспечить наилучший результат, верно? Неправильный. Если бы высшая инопланетная цивилизация отправила нам сообщение: «Мы прибудем через несколько десятилетий», мы бы просто ответили: «Хорошо, позвоните нам, когда доберетесь сюда - мы оставим свет включенным?» Наверное, нет - но это более или менее то, что происходит с ИИ ».

Обеспокоенность рисками, связанными с искусственным интеллектом, привела к некоторым громким пожертвованиям и инвестициям. Группа выдающихся технологических титанов, в том числе Питер Тиль , Amazon Web Services и Маск, вложили 1 миллиард долларов в OpenAI , некоммерческую компанию, нацеленную на поддержку ответственной разработки ИИ. В январе 2015 года Илон Маск пожертвовал 10 миллионов долларов Институту будущего жизни на финансирование исследований по пониманию процесса принятия решений с помощью ИИ. Цель института - «вырастить мудрость, с помощью которой мы управляем» растущей мощью технологий. Маск также финансирует компании, разрабатывающие искусственный интеллект, такие как DeepMind и Vicarious, чтобы «просто следить за тем, что происходит с искусственным интеллектом. Я думаю, что здесь есть потенциально опасный исход».

Скептицизм

У тезиса о том, что ИИ может представлять опасность для жизни, также есть много сильных противников. Скептики иногда заявляют, что этот тезис является крипторелигиозным, с иррациональной верой в возможность суперинтеллекта заменить иррациональную веру во всемогущего Бога; в крайнем случае, Джарон Ланье утверждал в 2014 году, что вся концепция, согласно которой современные машины были в любом случае разумными, была «иллюзией» и «колоссальным обманом» со стороны богатых.

Многие критики утверждают, что AGI маловероятен в краткосрочной перспективе. Ведущий исследователь ИИ Родни Брукс пишет: «Я считаю ошибкой беспокоиться о том, что в ближайшие несколько сотен лет мы будем разрабатывать злонамеренный ИИ. в конкретном аспекте ИИ, а также о масштабах и сложности создания разумного волевого интеллекта ». Вице-президент Baidu Эндрю Нг заявляет, что экзистенциальный риск искусственного интеллекта «похож на беспокойство о перенаселенности Марса, когда мы еще даже не ступили на эту планету». Ученый-компьютерщик Гордон Белл утверждает, что человечество уничтожит себя еще до того, как достигнет технологической сингулярности. Гордон Мур , изначальный сторонник закона Мура , заявляет: «Я скептик. Я не верю, что [технологическая сингулярность] может произойти, по крайней мере, в течение длительного времени. И я не знаю, почему я чувствую это способ."

Чтобы реализовать опасность неконтролируемого продвинутого ИИ, гипотетический ИИ должен пересилить или превзойти все человечество, что, по мнению некоторых экспертов, является достаточно далекой возможностью в будущем, чтобы не стоило исследовать. ИИ должен был бы стать намного лучше в области инноваций программного обеспечения, чем лучшие новаторы в остальном мире; экономист Робин Хэнсон скептически относится к такой возможности.

Некоторые исследователи AI и AGI могут неохотно обсуждать риски, беспокоясь о том, что политики не обладают глубокими знаниями в этой области и склонны к убеждению с помощью «панических» сообщений, или опасаясь, что такие сообщения приведут к сокращению финансирования AI. Slate отмечает, что некоторые исследователи зависят от грантов правительственных агентств, таких как DARPA .

Некоторые скептики утверждают, что потенциальные краткосрочные преимущества ИИ перевешивают риски. Генеральный директор Facebook Марк Цукерберг считает, что ИИ «откроет огромное количество положительных вещей», таких как лечение болезней и повышение безопасности автономных автомобилей.

Промежуточные просмотры

Промежуточные взгляды обычно предполагают, что проблема управления общего искусственного интеллекта может существовать, но что она будет решена за счет прогресса в области искусственного интеллекта, например, путем создания моральной среды обучения для ИИ, заботясь о выявлении неуклюжего злонамеренного поведения ( 'мерзкое спотыкание'), а затем непосредственно вмешиваться в код, прежде чем ИИ уточняет свое поведение, или даже давление со стороны дружественных ИИ . В 2015 году на панельной дискуссии Wall Street Journal, посвященной рискам искусственного интеллекта, вице-президент IBM по когнитивным вычислениям Гурудут С. Банавар отмахнулся от обсуждения AGI фразой «это чьи-то предположения». Джеффри Хинтон , «крестный отец глубокого обучения», отметил, что «не существует хорошей репутации менее разумных вещей, управляющих объектами с большим интеллектом», но заявил, что он продолжает свои исследования, потому что «перспектива открытия слишком сладка ». В 2004 году профессор права Ричард Познер написал, что целенаправленные усилия по решению проблемы ИИ могут подождать, но тем временем нам следует собрать больше информации о проблеме.

Смягчение

Многие ученые, обеспокоенные существованием риска, считают, что лучшим путем вперед было бы провести (возможно, массовое) исследование для решения сложной «проблемы управления», чтобы ответить на вопрос: какие типы защиты, алгоритмы или архитектуры могут реализовать программисты. чтобы максимизировать вероятность того, что их рекурсивно улучшающийся ИИ продолжит вести себя дружественным, а не разрушительным образом после того, как достигнет суперинтеллекта? В своей книге 2020 года `` Пропасть: риск для существования и будущее человечества '' Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета , оценивает общий риск существования неуравновешенного ИИ в следующем столетии примерно в один из десяти.

Исследователи Google предложили провести исследование общих вопросов «безопасности ИИ», чтобы одновременно снизить как краткосрочные риски, связанные с узким ИИ, так и долгосрочные риски, связанные с ОИИ. По оценке на 2020 год, глобальные расходы на существование ИИ составляют от 10 до 50 миллионов долларов, тогда как глобальные расходы на ИИ составляют около 40 миллиардов долларов. Бостром предлагает общий принцип «дифференцированного технологического развития», который спонсоры должны учитывать при работе над ускорением разработки защитных технологий по сравнению с разработкой опасных. Некоторые спонсоры, такие как Илон Маск , предполагают, что радикальное улучшение когнитивных функций человека может быть такой технологией, например, посредством прямой нейронной связи между человеком и машиной; однако другие утверждают, что усовершенствованные технологии сами по себе могут представлять опасность для существования. Исследователи, если они не застали врасплох, мог внимательно следить или попытаться поле в начальный ИИ на риск становится слишком сильным, как попытка затычка меры. Доминирующий сверхразумный ИИ, если он будет соответствовать интересам человека, мог бы сам принять меры для снижения риска захвата власти конкурирующим ИИ, хотя создание доминирующего ИИ само по себе могло представлять собой существенный риск.

Такие институты, как научно - исследовательский институт искусственного интеллекта , в будущем человечества Института , в будущем Институте жизни , в Центре по изучению экзистенциального риска , а также Центр по населенному-Compatible ИИ участвует в смягчении экзистенциального риска , связанные с продвинутого искусственным интеллекта, для пример из исследования дружественного искусственного интеллекта .

Взгляды на запрет и регулирование

Запрет

Практически все согласны с тем, что попытки запретить исследования в области искусственного интеллекта были бы неразумными и, вероятно, бесполезными. Скептики утверждают, что регулирование ИИ было бы совершенно бесполезным, поскольку никакого риска для существования не существует. Почти все ученые, которые считают, что существует риск для существования, согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перенесены в страны с более мягкими правилами или проводиться тайно. Последний вопрос особенно актуален, поскольку исследования в области искусственного интеллекта могут проводиться в небольшом масштабе без существенной инфраструктуры или ресурсов. Две дополнительные гипотетические трудности с запретами (или другим регулированием) заключаются в том, что технологические предприниматели статистически склонны к общему скептицизму в отношении государственного регулирования и что у предприятий может быть сильный стимул (и вполне возможно, что это удастся) бороться с регулированием и политизировать лежащие в основе дискуссии.

Регулирование

Илон Маск призвал к определенному регулированию развития ИИ еще в 2017 году. По данным NPR , генеральный директор Tesla «явно не в восторге» от того, чтобы выступать за контроль со стороны правительства, который может повлиять на его собственную отрасль, но считает риски полного отказа от него. надзора слишком высоки: «Обычно правила устанавливаются, когда происходит куча плохих вещей, возникает общественный протест, и спустя много лет создается регулирующее агентство для регулирования этой отрасли. Это занимает вечность. прошлое было плохим, но не тем, что представляло фундаментальный риск для существования цивилизации ». Маск заявляет, что первым шагом для правительства будет «понимание» фактического статуса текущих исследований, предупреждая, что «как только появится осознание, люди будут очень бояться ... [как] они должны быть». В ответ политики скептически относятся к разумности регулирования технологии, которая все еще находится в стадии разработки.

Отвечая как на Маска, так и на предложения законодателей Европейского союза от февраля 2017 года по регулированию ИИ и робототехники, генеральный директор Intel Брайан Кржанич утверждает, что искусственный интеллект находится в зачаточном состоянии и что еще слишком рано регулировать эту технологию. Вместо того, чтобы пытаться регулировать саму технологию, некоторые ученые предлагают разработать общие нормы, включая требования к тестированию и прозрачности алгоритмов, возможно, в сочетании с какой-либо формой гарантии. Разработка хорошо регулируемых систем вооружений соответствует идеалам вооруженных сил некоторых стран. 31 октября 2019 года Совет по оборонным инновациям Министерства обороны США опубликовал проект отчета, в котором излагаются пять принципов вооруженного ИИ и 12 рекомендаций по этичному использованию искусственного интеллекта Министерством обороны, стремящимся управлять контролем. проблема во всем вооруженном AI DoD.

На регулирование AGI, вероятно, повлияет регулирование вооруженного или военизированного ИИ, то есть гонка вооружений ИИ , регулирование которой является новой проблемой. На любую форму регулирования, вероятно, повлияют изменения во внутренней политике ведущих стран в отношении военизированного ИИ в США, находящиеся в ведении Комиссии национальной безопасности по искусственному интеллекту, а также международные шаги по регулированию гонки вооружений ИИ. Регулирование исследований в области AGI фокусируется на роли наблюдательных советов и поощрении исследований безопасного ИИ, а также на возможности дифференцированного технологического прогресса (приоритетность стратегий снижения рисков над стратегиями принятия рисков при разработке ИИ) или проведение международного массового наблюдения для выполнения операций AGI. контроль. Регулирование сознательных ОИИ направлено на их интеграцию с существующим человеческим обществом и может быть разделено на соображения, связанные с их юридическим статусом и их неимущественными правами. Контроль над вооружениями искусственного интеллекта, вероятно, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией со стороны сообществ экспертов, а также с процессом правовой и политической проверки.

Languages

In other projects