Рисками, связанными с ИИ, я заинтересовался ещё в 2007 году. В то время реакция большинства людей на эту тему была примерно такой: «Очень смешно, возвращайся, когда в это будет верить кто-нибудь, кроме интернет-придурков».

В последовавшие годы несколько чрезвычайно умных и влиятельных фигур, среди которых Билл Гейтс, Стивен Хокинг и Илон Маск, публично поделились своими опасениями по поводу рисков ИИ, а за ними повторяли сотни других интеллектуалов, от оксфордских философов до космологов из MIT и инвесторов из Кремниевой долины. И мы вернулись.

Затем реакция поменялась на: «Ну ладно, парочка каких-то учёных и бизнесменов могут в это верить, но вряд ли это будут настоящие эксперты в этой области, реально разбирающиеся в ситуации».

Отсюда появились такие заявления, как статья в Popular Science " Билл Гейтс боится ИИ, но исследователям ИИ лучше знать":

Поговорив с исследователями ИИ – настоящими исследователями, с трудом заставляющими такие системы вообще как-то работать, не говоря уже о том, чтобы работать хорошо, становится понятно, что они не боятся, что сверхинтеллект вдруг подкрадётся к ним, ни сейчас, ни в будущем. Несмотря на все пугающие истории, рассказываемые Маском, исследователи не спешат строить защитные комнаты и самоуничтожение с обратным отсчётом.

Или, как писали на Fusion.net в статье " Возражение по поводу роботов-убийц от человека, реально разрабатывающего ИИ":

Эндрю Энджи профессионально разрабатывает ИИ-системы. Он вёл курс по ИИ в Стэнфорде, разрабатывал ИИ в Google, а затем перебрался в китайский поисковик Baidu, чтобы продолжать свою работу в первых рядах применения ИИ к проблемам реального мира. Так что, когда он слышит о том, как Илон Маск или Стивен Хокинг – люди, не знакомые непосредственно с современными технологиями – разговаривают об ИИ, потенциально способном уничтожить человечество, можно практически услышать, как он закрывает лицо руками.

Рамез Наам [Ramez Naam] из Marginal Revolution повторяет примерно то же самое в статье " Что исследователи думают по поводу рисков ИИ?":

Илон Маск, Стивен Хокинг и Билл Гейтс недавно выразили опасения по поводу того, что разработка ИИ может реализовать сценарий «ИИ-убийцы», и потенциально привести к вымиранию человечества. Они не принадлежат к числу исследователей ИИ и, насколько я знаю, не работали с ИИ напрямую. Что же реальные исследователи ИИ думают о рисках ИИ?

Он цитирует слова специально отобранных исследователей ИИ, как и авторы других историй – а затем останавливается, не упоминая никаких отличных от этого мнений.

Но они существуют. Исследователи ИИ, включая и лидеров в данной области, активно выражали опасения по поводу рисков ИИ и сверх интеллекта, причём с самого начала. Начну с перечисления этих людей, в пику к списку Наама, а затем перейду к тому, почему я не считаю это «дискуссией» в классическом смысле, ожидаемом от перечисления списка светил.

Критерии моего списка следующие: я упоминаю лишь самых престижных исследователей, либо профессоров науки в хороших институтах с множеством цитат научных работ, или же очень уважаемых учёных из индустрии, работающих на большие компании и имеющих хороший послужной список. Они занимаются ИИ и машинным обучением. У них есть несколько сильных заявлений в поддержку некоей точки зрения по поводу наступления в ближайшее время сингулярности или серьёзного риска со стороны ИИ. Некоторые из них написали по этому поводу работы или книги. Иные просто высказывали свои мысли, считая, что это важная тема, достойная изучения.

Если кто-то не согласен с включением человека в этот список или считает, что я забыл нечто важное, дайте мне знать.

Стюарт Рассел – профессор информатики в Беркли, победитель IJCAI Computers And Thought Award, научный сотрудник в ассоциации компьютерной механизации, научный сотрудник Американской академии передовых научных разработок, директор Центра интеллектуальных систем, лауреат премии Блеза Паскаля, и т.д. и т.п. Соавтор книги ""ИИ: современный подход«:[http://smile.amazon.com/…ref=as_li_tl?…]», классического учебника, используемого в 1200 университетах по всему миру. На своём сайте он пишет:

В области ИИ 50 лет велись разработки под флагом предположения о том, что чем умнее, тем лучше. С этим нужно сочетать беспокойство за пользу человечеству. Аргументация проста:

1. ИИ, скорее всего, будет успешно создан.
2. Неограниченный успех ведёт к большим рискам и большой выгоде.
3. Что мы можем сделать, чтобы увеличить шансы на получение выгоды и избегание рисков?

Некоторые организации уже работают над этими вопросами, включая Институт будущего человечества в Оксфорде, Центр изучения экзистенциального риска в Кембридже (CSER), Институт исследования машинного интеллекта в Беркли и Институт будущего жизни в Гарварде/MIT (FLI). Я состою в консультативных советах при CSER и FLI.

Точно так же, как исследователи ядерного синтеза рассматривали проблему ограничения ядерных реакций как одну из главнейших проблем своей области, так и при развитии области ИИ неизбежно встанут вопросы контроля и безопасности. Исследователи уже начинают ставить вопросы, от чисто технических (основные проблемы рациональности и полезности, и т.п.) до широко философских.

На сайте edge.org он описывает схожую точку зрения:

Как объяснили Стив Омохандро, Ник Бостром и другие, расхождение в ценностях с системами принятия решений, возможности которых постоянно растут, может привести к проблемам – возможно, даже проблемам масштаба исчезновения вида, если машины окажутся более способными, чем люди. Некоторые считают, что в ближайшие столетия мыслимых рисков для человечества не предвидится, возможно, забывая, что разница во времени между уверенным заявлением Резерфорда по поводу того, что атомную энергию никогда не удастся извлечь, и изобретением Силардом инициируемой нейтронами цепной ядерной реакции прошло меньше 24 часов.

Он также пытался стать представителем этих идей в академической среде, указывая:

Я обнаруживаю, что главные люди в этой отрасли, никогда ранее не высказывавшие опасений, про себя думают, что к этой проблеме нужно относиться очень серьёзно, и чем скорее мы примем её серьёзность, тем будет лучше.

Дэвид Макалистер – профессор и старший научный сотрудник в Технологическом институте Toyota, связанном с Чикагским университетом, работавший ранее на факультетах MIT и Корнелловского института. Он сотрудник Американской ассоциации ИИ, опубликовал более сотни работ, вёл исследования в областях машинного обучения, теории программирования, автоматического принятия решений, планирования ИИ, вычислительной лингвистики, и оказал серьёзное влияние на алгоритмы знаменитого шахматного компьютера Deep Blue. Согласно статье в Pittsburgh Tribune Review:

Чикагский профессор Дэвид Макалистер считает неизбежным появление способности полностью автоматических интеллектуальных машин разрабатывать и создавать более умные версии самих себя, то есть, наступление события, известного как [технологическая] сингулярность. Сингулярность позволит машинам стать бесконечно интеллектуальными, что приведёт к «невероятно опасному сценарию», говорит он.

В своём блоге " Мысли о машинах" он пишет:

Большинство учёных из области информатики отказываются говорить о реальных успехах в области ИИ. Думаю, что более разумно будет говорить о том, что никто не в состоянии предсказать, когда будет получен ИИ сравнимый с человеческим разумом. Джон Макарти однажды сказал мне, что когда его спрашивают о том, как скоро будет создан ИИ человеческого уровня, он отвечает, что от пяти до пяти сотен лет. Макарти был умён. Учитывая неопределённости в этой области, разумно рассматривать проблему дружественного ИИ…На ранних этапах обобщённый ИИ будет безопасен. Однако ранние этапы ОИИ станут отличной тестовой площадкой для ИИ в роли слуги или других вариантов дружественных ИИ. Также экспериментальный подход рекламирует Бен Гёрцель в хорошем посте в своём блоге. Если нас ждёт эпоха безопасных и не слишком умных ОИИ, тогда у нас будет время подумать о более опасных временах.

Он был членом экспертной группы AAAI Panel On Long-Term AI Futures, посвящённой долгосрочным перспективам ИИ, председательствовал в комитете по долгосрочному контролю, и его описывают так:

Макалистер говорил со мной о приближении «сингулярности», событии, когда компьютеры станут умнее людей. Он не стал называть точную дату её наступления, но сказал, что это может произойти в следующие пару десятков лет, и в конце концов однозначно случится. Вот его взгляды на сингулярность. Произойдут два значимых события: операционная разумность, при которой мы сможем легко разговаривать с компьютерами, и цепная реакция ИИ, в которой компьютер сможет улучшать себя без посторонней помощи, а затем повторять это снова. Первое событие мы заметим в системах автоматической помощи, которые реально будут нам помогать. Позже с компьютерами станет действительно интересно общаться. А для того, чтобы компьютеры смогли делать всё то, что умеют люди, необходимо дождаться наступления второго события.

Ханс Моравек – бывший профессор Института робототехники в Университете Карнеги-Меллон, в честь него назван парадокс Моравека, основатель SeeGrid Corporation, занимающейся системами машинного зрения для промышленного применения. Его работу " синтез датчиков в решётках определённости мобильных роботов" цитировали более тысячи раз, и его приглашали писать статью для Британской энциклопедии по робототехнике, в те времена, когда статьи в энциклопедиях писали мировые эксперты в данной области, а не сотни анонимных интернет-комментаторов.

Также он автор книги " Робот: от простой машины до трансцендентного разума", которую Amazon описывает так:

В этой захватывающей книге Ханс Моравек предсказывает, что к 2040 году машины приблизятся к интеллектуальному уровню людей, а к 2050 году превзойдут нас. Но хотя Моравек и предсказывает окончание эры доминирования людей, его видение этого события не такое мрачное. Он не отгораживается от будущего, в котором машины правят миром, а принимает его, и описывает удивительную точку зрения, согласно которой интеллектуальные роботы станут нашими эволюционными потомками. Моравек считает, что в конце этого процесса «необъятное киберпространство объединится с нечеловеческим сверхразумом и займётся делами, настолько же далёкими от людей, насколько далеки человеческие дела от бактерий».

Шейн Лег – сооснователь DeepMind Technologies, ИИ-стартапа, купленного в 2014 году за $500 млн компанией Google. Он получил докторскую степень в Институте ИИ им. Дэйля Моуля в Швейцарии, а также работал в Подразделении вычислительной нейробиологии им. Гэтсби в Лондоне. В конце диссертации «машинный сверхинтеллект» он пишет:

Если когда-нибудь и появится нечто, способное приблизиться к абсолютной власти, это будет сверхинтеллектуальная машина. По определению она будет способна достичь большого количества целей в самых разнообразных окружениях. Если мы заранее аккуратно подготовимся к такой возможности, то сможем не только избежать катастрофы, но и начать эру процветания, не похожую ни на что, существовавшее ранее.

В последующем интервью он говорит:

ИИ сейчас там же, где интернет был в 1988 году. Потребности в машинном обучении требуются в специальных приложениях (поисковики типа Google, хедж-фонды и биоинформатика), и их число растёт с каждым годом. Думаю, что примерно в середине следующего десятилетия этот процесс станет массовым и заметным. Бум ИИ должен произойти в районе 2020 года, за которым последует десятилетие быстрого прогресса, возможно, после коррекции рынков. ИИ уровня человека будет создан примерно в середине 2020 годов, хотя многие люди не примут наступления этого события. После этого риски, связанные с развитым ИИ, получат практическую реализацию. Не скажу по поводу «сингулярности», но ожидают, что в какой-то момент после создания ОИИ начнут происходить безумные вещи. Это где-то между 2025 и 2040 годами.

Он и его сооснователи Демис Хасабис и Мустафа Сулейман подписали петицию «Института будущей жизни», касающуюся рисков ИИ, и одним из их условий присоединения к Google стало то, что компания соглашается организовать совет по этике ИИ для исследования этих вопросов.

Стив Омохандро [Steve Omohundro] – бывший профессор информатики Иллинойского университета, основатель группы компьютерного зрения и обучения в Центре исследования сложных систем, и изобретатель различных важных разработок в машинном обучении и компьютерном зрении. Он работал над роботами, читающими по губам, языком параллельного программирования StarLisp, геометрическими обучающимися алгоритмами. Сейчас он возглавляет Self-Aware Systems, «коллектив учёных, работающих над тем, чтобы интеллектуальные технологии приносили пользу человечеству». Его работа " основы мотивации ИИ" помогла родиться области машинной этики, поскольку он отметил, что сверхинтеллектуальные системы будут направляться к потенциально опасным целям. Он пишет:

Мы показали, что все передовые ИИ-системы скорее всего будут обладать набором основных мотиваций. Крайне важно понимать эти мотивации, чтобы создать технологии, обеспечивающие позитивное будущее человечества. Юдковский призвал к созданию «дружественного ИИ». Для этого нам необходимо разработать научный подход для «утилитарной разработки», что позволит нам разрабатывать общественно полезные функции, которые приведут к желаемым нами последовательностям. Быстрая поступь технологического прогресса говорит о том, что эти проблемы уже скоро могут стать критичными.

По ссылке можно найти его статьи по теме «рациональный ИИ для всеобщего блага».

Мюррей Шанахан получил докторскую степень по информатике в Кембридже, и сейчас он – профессор когнитивной робототехники в Имперском колледже Лондона. Он публиковал работы в таких областях, как робототехника, логика, динамические системы, вычислительная нейробиология, философия разума. Сейчас он работает над книгой " Технологическая сингулярность", которая будет опубликована в августе. Рекламная аннотация с Amazon следующая:

Шанахан описывает технологические достижения в области ИИ, как сделанные под влиянием знаний из биологии, так и разработанные с нуля. Он поясняет, что когда будет создан ИИ человеческого уровня – теоретически возможная, но трудновыполнимая задача – переход к сверхразумному ИИ окажется очень быстрым. Шанахан размышляет о том, к чему может привести существование сверхразумных машин для таких областей, как личность, ответственность, права и индивидуальность. Некоторые представители сверхразумного ИИ могут быть созданы на пользу человеку, некоторые могут выйти из-под контроля. (То есть, Siri или HAL?) Сингулярность представляет для человечества как экзистенциальную угрозу, так и экзистенциальную возможность преодолеть свои ограничения. Шанахан ясно даёт понять, что если мы хотим достичь лучшего результата, нам нужно представлять себе обе возможности.

Маркус Хаттер – профессор исследовательской школы информатики в Национальном австралийском университете. До этого он работал в Институте ИИ им. Дэйля Моуля в Швейцарии и в Национальном институте информатики и коммуникаций в Австралии, а также работал над стимулированным обучением, байесовскими выводами, теорией сложности вычислений, соломоновской теорией индуктивных предсказаний, компьютерным зрением и генетическими профилями. Также он много писал по поводу сингулярности. В статье " может ли интеллект взорваться?" он пишет:

Это столетие может стать свидетелем технологического взрыва, масштаб которого заслуживает названия сингулярности. Сценарий по умолчанию – сообщество взаимодействующих разумных индивидов в виртуальном мире, симулируемое на компьютерах с гиперболически увеличивающимися вычислительными ресурсами. Это неизбежно сопровождается взрывом скорости, измеряемой физическим временем, но не обязательно взрывом интеллекта. Если виртуальный мир населить свободными и взаимодействующими индивидами, эволюционное давление приведёт к появлению индивидов с усиливающимся интеллектом, которые будут соревноваться за вычислительные ресурсы. Конечной точкой этого эволюционного ускорения интеллекта может стать сообщество максимально разумных индивидов. Некоторые аспекты этого сингуляторного сообщества теоретически можно изучать уже при помощи современных научных инструментов. Задолго до появления этой сингулярности, даже разместив это виртуальное сообщество в нашем воображении, можно представить возникновение отличий, таких, например, как резкое падение ценности индивида, что может привести к радикальным последствиям.

Юрген Шмидхубер

• профессор ИИ в Университете Лугано и бывший профессор когнитивной робототехники в Мюнхенском технологическом университете. Он разрабатывает одни из самых передовых нейросетей в мире, работает над эволюционной робототехникой и теорией сложности вычислений, и служит научным сотрудником в Европейской академии наук и искусств. В книге " Гипотезы сингулярностей" он утверждает, что «при продолжении существующих трендов мы столкнёмся с интеллектуальным взрывом в следующие несколько десятилетий». Когда на Reddit AMA его напрямую спросили о связанных с ИИ рисках, он ответил:

Беспокойство Стюарта Рассела по поводу ИИ кажется разумным. Можем ли мы что-нибудь сделать, чтобы управлять влиянием ИИ? В ответе, спрятанном в соседнем треде, я указал: на первый взгляд, рекурсивное самоулучшение машин Гёделя предлагает нам путь к созданию будущего сверхинтеллекта. Самоисправление машины Гёделя в каком-то смысле оптимально. Она будет делать только те изменения в своём коде, которые доказано улучшат ситуацию, согласно изначальной функции полезности. То есть, в начале у вас есть возможность отправить её по правильному пути. Но другие люди могут снабдить свои машины Гёделя другими функциями полезности. Они будут соревноваться. И получившейся экологии индивидов некоторые функции полезности будут лучше подходить к нашей физической вселенной, чем другие, и они найдут себе нишу для выживания".

Ричард Сатон — профессор и член комитета iCORE в Университете Альберты. Он служит научным сотрудником в Ассоциации по разработке ИИ, соавтор самого популярного учебника по стимулированному обучению, первооткрыватель метода временных различий, одного из самых важных в этой области.

В своём докладе на конференции по ИИ, организованной Институтом будущей жизни, Сатон утверждал, что «существует реальный шанс, что ещё при нашей жизни» будет создан ИИ, по интеллекту сравнимый с человеком, и добавил, что этот ИИ «не будет подчиняться нам», «будет соревноваться и сотрудничать с нами», и что «если мы создадим сверхумных рабов, мы получим сверхумных оппонентов». В заключение он сказал, что «нам необходимо продумать механизмы (социальные, законные, политические, культурные), чтобы обеспечить желательный исход», но что «неизбежно обычные люди станут менее важны». Он также упомянул сходные проблемы на презентации Института Гэдсби. Кроме того, в книге Гленна Бека есть такие строки: «Ричард Сатон, один из крупнейших специалистов по ИИ, предсказывает взрыв интеллекта где-то к середине столетия».

Эндрю Дэвисон – профессор по машинному зрению в Имперском колледже Лондона, ведущий группы по роботизированному зрению и лаборатории робототехники Дайсон, и изобретатель компьютеризированной системы локализации и разметки MonoSLAM. На своём сайте он пишет:

Рискуя оказаться в неприятном положении в определённых академических кругах, к которым, как я надеюсь, я принадлежу, с 2006 года я с полной серьёзностью начал относится к идее технологической сингулярности: экспоненциальный рост технолгий может привести к появлению сверхчеловеческого ИИ и другим разработкам, которые чрезвычайно сильно изменят мир в удивительно недалёком будущем (возможно, в ближайшие 20–30 лет). На меня оказали влияние как прочтение книги Курцвейла «Сингулярность близка» (мне она показалась сенсационной, но в целом интригующей), так и мои собственные наблюдения за невероятным прогрессом наук и технологий, происходящим в последнее время, в особенности в области компьютерного зрения и робототехники, с которыми я лично связан. Современные системы принятие решений, обучения, методы основанные на байесовской теории вероятностей, вкупе с экспоненциально растущими возможностями недорогих компьютерных процессоров, становятся способными демонстрировать удивительные свойства, похожие на умения людей, в частности в области компьютерного зрения.Тяжело представить себе все возможные последствия происходящего, положительные или отрицательные, и я попытаюсь перечислить только факты, не ударяясь в мнения (хотя я сам нахожусь не в лагере супероптимистов). Я серьёзно считаю, что об этом стоит беседовать учёным и общественности. Я составлю список «признаков сингулярности» и буду обновлять его. Это будут небольшие известия о технологиях или новости, подтверждающие мои ощущения того, что технология удивительным образом развивается всё быстрее и быстрее, и о последствиях этого сейчас размышляет очень мало людей.

Алан Тьюринг и Ирвинг Джон Гуд в представлении не нуждаются. Тьюринг изобрёл математические основы вычислительной науки и его именем названы машина Тьюринга, полнота по Тьюрингу и тест Тьюринга. Гуд работал с Тьюрингом в Блетчли-парк, помогал создавать одни из первых компьютеров и изобрёл множество известных алгоритмов, например, быстрый алгоритм дискретного преобразования Фурье, известный как FFT-алгоритм. В своей работе «Могут ли цифровые машины думать?» Тьюринг пишет:

Давайте предположим, что такие машины можно создать, и рассмотрим последствия их создания. Таковой акт несомненно будет встречен в штыки, если только мы не продвинулись в религиозной терпимости со времён Галилея. Оппозиция будет состоять из интеллектуалов, боящихся потерять работу. Но вероятно, что интеллектуалы будут ошибаться. Можно будет заняться многими вещами в попытках удержать свой интеллект на уровне стандартов, задаваемых машинами, поскольку после запуска машинного метода не должно пройти много времени до того момента, когда машины превзойдут наши ничтожные возможности. На каком-то этапе следует ожидать того, что машины возьмут управление на себя.

Во время работы в компьютерной лаборатории Atlas в 60-х, Гуд развил эту идею в " Рассуждениях, касающихся первой ультраинтеллектуальной машины":

Определим ультраинтеллектуальную машину, как машину, способную превзойти человека в любой интеллектуальной работе. Поскольку разработка таких машин – один из примеров интеллектуальной работы, ультраинтеллектуальная машина может разработать машины лучшего качества. В результате, вне всякого сомнения, следует ожидать «взрыва интеллекта», и интеллект человека останется далеко позади. Поэтому, изобретение ультраинтеллектуальной машины – последнее из изобретений, которые необходимо сделать человеку.

Меня беспокоит, что этот список может создать впечатление наличия некоего спора между «верующими» и «скептиками» в данной области, во время которого они разносят друг друга в пух и прах. Но мне так не показалось.

Когда я читаю статьи о скептиках, я всё время встречаю два аргумента. Во-первых, мы ещё очень далеко от ИИ человеческого уровня, не говоря уже об сверхинтеллекте, и очевидного пути для достижения таких высот не видно. Во-вторых, если вы требуете запретов на исследования ИИ, вы идиот.

Я совершенно согласен с обоими пунктами. Как и лидеры движения рисков ИИ.

Опрос среди исследователей ИИ (Muller & Bostrom, 2014) показал, что в среднем они дают 50% за то, что ИИ человеческого уровня появится к 2040 оду, и 90% — что он появится к 2075. В среднем 75% из них верят, что сверхинтеллект («машинный интеллект, серьёзно превосходящий возможности каждого человека в большинстве профессий») появится в течение 30 лет после появления ИИ человеческого уровня. И хотя техника этого опроса вызывает некоторые сомнения, если принять его результаты, то получается, что большинство исследователей ИИ сходятся в том, что нечто, из-за чего стоит волноваться, появится через одно-два поколения.

Но директор Института машинного интеллекта Люк Мюэльхаузер и директор Института будущего человечества Ник Бостром, заявляли о том, что их прогнозы по развитию ИИ гораздо более поздние, чем прогнозы участвовавших в опросе учёных. Если изучить данные по предсказаниям ИИ от Стюарта Армстронга, то видно, что в целом прикидки по времени появления ИИ, сделанные сторонниками ИИ, не отличаются от прикидок, сделанных ИИ-скептиками. Более того, самое долгосрочное предсказание в этой таблице принадлежит самому Армстронгу. Тем не менее, Армстронг сейчас работает в Институте будущего человечества, привлекает внимание к рискам ИИ и необходимости исследования целей сверхинтеллекта.

Разница между сторонниками и скептиками не в их оценках того, когда нам стоит ожидать появления ИИ человеческого уровня, а в том, когда нам нужно начинать готовиться к этому.

Что подводит нас ко второму пункту. Позиция скептиков, вроде бы, состоит в том, что хотя нам, вероятно, и стоит отправить парочку умных людей работать над предварительной оценкой проблемы, совершенно не нужно паниковать или запрещать исследование ИИ.

Поклонники же ИИ настаивают, что хотя нам совершенно не нужно паниковать или запрещать исследование ИИ, вероятно, стоит отправить парочку умных людей работать над предварительной оценкой проблемы.

Ян Лекун – возможно, самый ярый скептик рисков ИИ. Его обильно цитировали в статье на Popular Science, в посте на Marginal Revolution, а ещё он говорил с KDNuggets и IEEE по «неизбежным вопросам сингулярности», которые он сам описывает, как «находящиеся так далеко, что про них можно писать научную фантастику». Но когда его попросили уточнить его позицию, он заявил:

Илон Маск очень волнуется из-за экзистенциальных угроз человечеству (поэтому он строит ракеты, чтобы отправить людей колонизировать другие планеты). И хотя риск восстания ИИ очень мал и очень отдалён в будущее, нам нужно думать о нём, разрабатывать меры предосторожности и правила. Точно так же, как комитет по биоэтике появился в 1970-е и 1980-е годы, до широкого использования генетики, нам необходимы комитеты по ИИ-этике. Но, как писал Йошуа Бенджио, времени у нас ещё предостаточно.

Эрик Хорвиц – ещё один эксперт, часто упоминаемый, как главный рупор скептицизма и ограничений. Его точку зрения описывали в таких статьях, как " Директор отдела исследований Microsoft считает, что вышедший из-под контроля ИИ нас не убьёт«, и " Эрик Хорвиц из Microsoft считает, что ИИ не нужно бояться». Но вот, что он сказал в более длинном интервью с NPR:

Кейст: Хорвиц сомневается, что виртуальные секретарши когда-нибудь превратятся в нечто, что завоюет мир. Он говорит, что это как ожидать, чтобы воздушный змей эволюционировал в Боинг 747. Значит ли это, что он высмеивает сингулярность?

Хорвиц: Нет. Я думаю, что тут произошла смесь понятий, и я сам тоже испытываю смешанные чувства.

Кейст: В частности из-за таких идей, как сингулярность, Хорвиц и другие специалисты по ИИ всё чаще пытаются разобраться с этическими проблемами, которые в ближайшие годы могут возникнуть с узконаправленными ИИ. Также они задаются более футуристичными вопросами. К примеру, как можно сделать кнопку аварийного отключения компьютера, который способен менять себя?

Хорвиц: Я и правда считаю, что ставки достаточно высоки для того, чтобы тратить время и силы на активные поиски решений, даже если вероятность наступления таких событий мала.

Это в общем-то совпадает с позицией многих из самых рьяных агитаторов рисков ИИ. С такими друзьями и враги не нужны.

Статья в Slate, " Не бойтесь ИИ" также удивительно многое выставляет в правильном свете:

Как заявляет сам Маск, решение проблемы рисков ИИ состоит в трезвой и разумной совместной работе учёных и законотворцев. Однако довольно сложно понять, как болтовня про «демонов» может способствовать достижению этой благородной цели. Она вообще может ей препятствовать.

Во-первых, в идее сценария Skynet зияют огромные дыры. И хотя исследователи в области информатики считают, что рассуждения Маска «не совсем безумны», они всё-таки слишком далеки от мира, в котором шумиха по поводу ИИ маскирует чуть менее ИИ-шную реальность, с которой сталкиваются наши специалисты по информатике.

Ян Лекун, глава лаборатории ИИ в Facebook кратко просуммировал эту идею в посте в Google+ в 2013 году: Шумиха вредит ИИ. За последние пять десятилетий шумиха убивала ИИ четыре раза. Её нужно остановить". Лекун и другие правильно боятся шумихи. Неспособность оправдать высокие ожидания, навязанные научной фантастикой, приводят к серьёзным урезаниям бюджетов на исследования ИИ.

Работающие над ИИ учёные – люди умные. Им неинтересно попадать в классические политические ловушки, в которых они бы разделялись на лагеря и обвиняли бы друг друга в паникёрстве или страусизме. Судя по всему, они пытаются найти баланс между необходимостью начать предварительную работу, связанную с маячащей где-то вдали угрозой, и риском вызвать такую сильную шумиху, которая ударит по ним.

Я не хочу сказать, что не существует разницы во мнениях по поводу того, как скоро нужно начать заниматься этим вопросом. В основном всё сводится к тому, можно ли сказать, что «мы будем решать проблему, когда столкнёмся с ней», или же ожидать такого неожиданного взлёта, из-за которого всё выйдет из-под контроля, и к которому, поэтому, нужно готовиться заранее. Я вижу всё меньше, чем мне хотелось бы, доказательств того, что большинство ИИ-исследователей, имеющих собственное мнение, понимают вторую возможность. Да что там говорить, если даже в статье на Marginal Revolution цитируют эксперта, заявляющего, что сверхинтеллект не представляет большой угрозы, потому что «умные компьютеры не смогут сами ставить себе цели», хотя любой человек, читавший Бострома, знает, что в этом и состоит вся проблема.

Предстоит сделать ещё гору работы. Но только не для того, чтобы специально выбирать статьи, в которых «настоящие эксперты по ИИ не волнуются по поводу сверхинтеллекта».