Рисками, связанными с ИИ, я заинтересовался ещё в 2007 году. В то время реакция большинства людей на эту тему была примерно такой: «Очень смешно, возвращайся, когда в это будет верить кто-нибудь, кроме интернет-придурков».

I

В недавней моей статье по поводу рисков, связанных с ИИ, один из комментаторов попросил меня вкратце сформулировать аргументы, доказывающие серьёзность ситуации. Я написал нечто вроде такого:

1. Если человечество не самоуничтожится, то в конце концов мы создадим ИИ человеческого уровня.
2. Если человечество сможет создать ИИ человеческого уровня, то прогресс продолжится, и в итоге мы придём к ИИ уровня гораздо выше человеческого.
3. Если появится такой ИИ, он в итоге станет настолько сильнее человечества, что наше существование будет зависеть от того, совпадают ли его цели с нашими.
4. Уже сейчас возможно провести полезные исследования, которые увеличат наши шансы на успешное решение задачи совпадения наших целей.
5. Поскольку мы уже можем начинать эти исследования, мы, вероятно, и должны так поступить, поскольку будет достаточно недальновидно оставлять эту проблему до тех пор, пока она не станет слишком явной и срочной.

В трёх первых пунктах я уверен более чем на 95% — это просто рассуждения на тему того, что если тенденции сегодняшнего движения к определённой цели сохранятся, то в результате мы к ней придём. В последних двух утверждениях я уверен меньше, примерно на 50%.

Комментаторы в целом соглашались с этими утверждениями. Никто всерьёз не пытался спорить с п.п. 1–3, но многие утверждали, что нет никакого смысла волноваться по поводу ИИ сейчас. В результате у нас получилась расширенная аналогия с незаконным взломом компьютеров. Это большая проблема, которую мы никогда не могли решить полностью – но если бы Алан Тьюринг захотел решать бы эту проблему в 1945 году, то его идеи могли бы быть похожими на «храните перфокарты в закрытой коробке, чтобы их не прочли немецкие шпионы». Не закончится ли попытка решать проблемы, связанные с ИИ, в 2015 году, примерно такой же ерундой?

Возможно. Но по нескольким причинам я позволю себе не согласиться с этим. Некоторые из них – достаточно общие, так сказать, мета-уровня, некоторые – более конкретные и объективные. Самая важная из причин мета-уровня следующая: если принять пункты 1–3, то есть, возможность вымирания человечества в случае, если мы не сможем решить проблему совпадения наших целей с целями ИИ, то вы правда считаете, что наши шансы на подвижки в решении этой проблемы малы? Настолько малы, что мы можем сказать: «Да, конечно, мы движемся к самоуничтожению, но разве исследование вопроса о том, можем ли мы что-нибудь с этим сделать, будет эффективной тратой ресурсов»? А каковы те другие, удивительные варианты использования ресурсов, которые вам больше по душе? Можно, конечно, приводить аргументы в стиле " пари Паскаля", но учтите, что какой-нибудь профессиональный боксёр получает за бой в разы больше, чем мы потратили на изучение связанных с ИИ рисков за всю историю человечества!

Если бы ограничение ИИ привлекало хотя бы десятую часть того внимания или сотую часть тех денег, что привлекли боксёрские матчи с участием ИИ, мир был бы гораздо спокойнее [игра слов: AI boxing – заключение ИИ в ограничивающую его возможности среду; но так можно назвать и вымышленные боксёрские матчи с участием ИИ-роботов – прим. перев.].

Но я бы хотел сделать ещё более сильное заявление: риски, связанные с ИИ не просто важнее, чем боксёрские матчи; это так же важно, как и все другие вещи, считающиеся важными, например, поиск лекарств от болезней, обнаружение опасных астероидов и сохранение окружающей среды. И поэтому необходимо доказать, что прогресса в этом вопросе можно достигнуть даже на таком раннем этапе развития этой области.

И я считаю, что прогресс возможен, поскольку эта проблема лежит в области философии, а не технологий. Сейчас наша цель – не «написать код, контролирующий будущее ИИ», а «понять, с какой категорией задач нам придётся столкнуться». Позвольте мне привести несколько примеров открытых проблем, чтобы плавно перейти к дискуссии об их текущей актуальности.

II

Проблема 1: электроды и мозг

В мозг некоторых людей имплантированы электроды – это сделано как для терапевтических, так и для исследовательских целей. Если электрод попадает в определённые участки мозга, к примеру, в боковую часть гипоталамуса, у человека появляется непреодолимое стремление к максимально возможной их стимуляции. Если дать ему кнопку для стимуляции, он будет нажимать её по тысяче раз в час. Если попытаться забрать у него эту кнопку, он будет отчаянно и свирепо защищать её. Их жизнь и цели сжимаются до точки, нормальные цели типа любви, денег, славы, дружбы – забываются, и всё из-за стремления к максимальной стимуляции электрода.

Это хорошо совпадает с тем, что нам известно о нейробиологии. Награды в мозге (ВНИМАНИЕ: ЧРЕЗМЕРНОЕ УПРОЩЕНИЕ) выдаются через электрическое напряжение, возникающее в парочке центров вознаграждения, и поэтому мозг стремится ко всему, что максимизирует получение наград. Обычно это работает неплохо: после удовлетворения биологической потребности, типа еды или секса, центр наград отвечает на это, закрепляя рефлексы, и поэтому вы продолжаете удовлетворять ваши биологические потребности. Но прямая стимуляция центров вознаграждения при помощи электродов работает гораздо сильнее, чем простое ожидание небольших наград, полученных естественным путём, поэтому такая деятельность становится по умолчанию максимально вознаграждающей. Человек, получивший возможность прямой стимуляции центра вознаграждений, забудет обо всех этих непрямых путях получения наград вроде «счастливой жизни», и просто будет нажимать кнопку, соединённую с электродом, как можно больше.

И для этого даже не нужна нейрохирургия – такие наркотики, как кокаин и метамфетамин, вызывают привыкание в частности потому, что вмешиваются в работу биохимии мозга и увеличивают уровень стимуляции центров вознаграждения.

Компьютеры могут столкнуться со схожей проблемой. Не могу найти ссылку, но помню историю про эволюционный алгоритм, разработанный для создания кода в каком-то приложении. Он генерировал код наполовину случайно, затем прогонял его через «функцию совместимости», определявшую, насколько он полезен, и лучшие участки кода скрещивались друг с другом, немного мутируя, до тех пор, пока не получался адекватный результат.

В результате, конечно же, получился код, взломавший функцию совместимости, в результате чего она выдала какое-то абсурдно высокое значение.

Это не единичные случаи. Любое мышление, работающее с обучением с подкреплением и функцией вознаграждения – а это, по-видимому, универсальная схема, как в биологическом мире, так и в растущем количестве примеров ИИ – будет обладать схожим недостатком. Основная защита против этой проблемы, на данный момент – отсутствие возможностей. Большинство компьютерных программ недостаточно умны, чтобы «взломать функцию получения награды». А у людей системы вознаграждения запрятаны глубоко в голове, где мы не можем добраться до них. У гипотетического сверхразума такой проблемы не будет: он будет точно знать, где находится центр его вознаграждений, и он будет достаточно умным, чтобы добраться до него и перепрограммировать.

В итоге, если только мы не предпримем осознанных действий для предотвращения, получится, что ИИ, разработанный для лечения рака, взломает свой собственный модуль, определяющий, сколько рака он вылечил, и задаст ему максимальное значение из возможных. А затем отправится на поиски способов увеличения памяти, чтобы в ней можно было хранить ещё большее значение. Если он будет сверхразумным, то в варианты расширения памяти можно будет включить «получение контроля над всеми компьютерами в мире» и «превращение всего того, что не является компьютером, в компьютер».

Это не какая-то экзотическая ловушка, в которую могут попасть несколько странных алгоритмов; это может быть естественным путём развития для достаточно умной системы обучения с подкреплением.

Проблема 2: странная теория принятия решений

Пари Паскаля – известный аргумент на тему того, почему логично присоединяться к религии. Даже если вы считаете, что вероятность существования бога исчезающе мала, последствия вашей ошибки (попадание в ад) велики, а преимущества в случае, если вы окажетесь правы (можно не ходить в церковь по воскресеньям), относительно малы – поэтому кажется выгодным просто верить в бога, на всякий случай. Хотя к такому рассуждению было придумано достаточно много возражений на основе канонов конкретных религий (хочет ли бог, чтобы в него верили на основе такого анализа?), эту проблему можно обобщить до случая, когда человеку выгодно стать приверженцем чего угодно, просто потому, что вы пообещали ему за это огромную награду. Если награда достаточно велика, она пересиливает все сомнения человека по поводу ваших способностей обеспечить эту награду.

Эта проблема в теории решений не связана с вопросами интеллекта. Очень умная личность, вероятно, сможет подсчитать вероятность существования бога, и численно прикинуть недостатки ада – но без хорошей теории принятия решений никакой интеллект не спасёт вас от пари Паскаля. Именно интеллект позволяет вам провести формальные математические вычисления, убеждающие вас в необходимости принятия пари.

Люди легко сопротивляются таким проблемам – большинство людей пари Паскаля не убедит, даже если они не найдут в нём недостатков. Однако непонятно, благодаря чему мы обладаем такой сопротивляемостью. Компьютеры, печально известные тем, что полагаются на формальную математику, но не обладают здравым смыслом, не приобретут такой сопротивляемости, если в них её не вложат. А вложить их в неё – задача трудная. Большинство лазеек, отвергающих пари Паскаля без глубокого понимания того, к чему приводит использование формальной математики, просто порождают новые парадоксы. Решение на основе хорошего понимания того, в какой момент формальная математика перестаёт работать, сохраняющее при этом полезность математики в решении повседневных задач, насколько я знаю, ещё не выработано. Что хуже, решив пари Паскаля, мы столкнёмся с парой десятков похожих парадоксов теории решений, которые могут потребовать совершенно других решений.

Это не просто хитрый философский трюк. Достаточно хороший «хакер» может свергнуть всегалактический ИИ, просто угрожая (бездоказательно) невероятным уроном в случае, если ИИ не выполнит его требования. Если ИИ не будет защищён от подобных «пари Паскаля» парадоксов, он решит выполнить требования хакера.

Проблема 3: эффект злого гения

Все знают, что проблема с компьютерами в том, что они делают то, что вы им говорите, а не то, что вы имеете в виду. Сегодня это значит всего лишь, что программа будет работать по-другому, когда вы забудете закрыть скобку, или веб-сайты будут выглядеть странно, если вы перепутаете HTML-теги. Но это может привести к тому, что ИИ сможет неправильно понять приказы, данные на естественном языке.

Это хорошо показано в истории " Эра Альтрона". Тони Старк приказывает суперкомпьютеру Альтрон наладить мир во всём мире. Альтрон подсчитывает, что самый быстрый и надёжный способ сделать это – уничтожить всю жизнь. Альтрон, по-моему, прав на 100%, и в реальности всё так бы и произошло. Мы могли бы получить тот же эффект, задав ИИ задачи типа «вылечить рак» или «покончить с голодом», или любую из тысяч подобных.

Даже «Трём законам робототехники» Айзека Азимова достаточно будет 30 секунд, чтобы превратиться в нечто омерзительное. Первый закон говорит, что робот не может причинить вреда человеку, или своим бездействием приводить к получению человеком вреда. «Не свергать правительство» – пример того, как через бездействие люди могут получить вред. Или «не запирать каждого человека в стазисном поле навечно».

Невозможно сформулировать достаточно подробный приказ, объясняющий, что именно имеется в виду под «не позволять своим бездействием получение вреда человеком», если только робот сам не способен делать то, что мы имеем в виду, а не то, что мы говорим. Это, конечно, не неразрешимая проблема, поскольку достаточно умный ИИ может и понять, что мы имеем в виду, но наше желание наличия у них такого понимания необходимо запрограммировать в ИИ напрямую, с нуля.

Но это приведёт ко второй проблеме: мы не всегда знаем, что подразумеваем. Вопрос «как сбалансировать этические запреты, направленные на безопасность людей, с запретами, направленными на сохранение свобод?» сейчас горячо обсуждается в политических кругах, и появляется везде, от контроля над оборотом оружия до запрета сладких напитков большого объёма. Судя по всему, здесь имеет значение баланс того, что нам важно, и комбинация экономии и священных принципов. Любой ИИ, не способный разбираться в этом моральном лабиринте, может закончить голод на планете, убив всех голодающих, или отвергать изобретение новых пестицидов из опасения убить насекомое.

Но чем больше изучаешь этику, тем больше понимаешь, что она слишком сложна и сопротивляется упрощению до некоей формальной системы, которую смог бы понять компьютер. Утилитаризм почти поддаётся алгоритмизации, но он не лишён парадоксов, и даже без них вам бы потребовалось назначить полезность всему в мире.

Эту проблему ещё предстоит решить в случае людей – ценности большинства из них кажутся нам отвратительными, а их компромиссы – проигрышными. Если мы создадим ИИ, чей разум будет отличаться от моего не больше, чем разум Пэта Робертсона, я посчитаю такое развитие событий провалом.

III

Я поднимал эти проблемы не для того, чтобы поразить кого-либо философскими вопросами. Я хотел доказать несколько утверждений:

Во-первых, существуют основные проблемы, влияющие на широкий круг образом мышления, например, на «все, кто обучается с подкреплением» или «все, кто принимает решения на основе формальной математики». Люди часто говорят, что на данном этапе нельзя знать ничего по поводу дизайна будущих ИИ. Но я бы сильно удивился, если бы они не использовали ни обучение с подкреплением, ни принятие решений на основе формальной математики.

Во-вторых, для большинства людей эти проблемы не очевидны. Это странные философские парадоксы, а не то, что понятно каждому с базовыми знаниями.

В-третьих, об этих проблемах уже размышляли. Кто-то, философ, математик, нейробиолог, думал: «Послушайте-ка, ведь обучение с подкреплением естественным образом подвержено проблеме имплантации электродов, что объясняет, почему одно и то же поведение прослеживается в разных областях».

В-четвёртых, эти проблемы говорят о необходимости проводить исследования уже сейчас, пусть и предварительные. Почему люди так хорошо сопротивляются пари Паскаля? Можно ли свести наше поведение в ситуациях с высокой полезностью и низкой вероятностью свести к функции, пользуясь которой, компьютер принял бы то же решение? Каковы лучшие решения для связанных с этой темой проблем теории решений? Почему человек способен понять концепцию имплантации электродов, и не стремится заполучить такой электрод лично для своего мозга? Можно ли разработать разум, который, воспользовавшись таким электродом, поймёт все ощущения, но не будет ощущать желания продолжать? Как формализовать этику и приоритеты людей достаточно для того, чтобы впихнуть их в компьютер?

Мне кажется, что слыша о том, что «мы прямо сейчас должны начать работать над проблемой совпадения целей с ИИ», думают себе, что кто-то пытается написать программу, которую можно будет прямиком импортировать в издание ИИ 2075 года, чтобы задать ему искусственную совесть. А потом они думают: «Да ни за что нельзя сделать такую сложную вещь так рано».

Но никто этого не предлагает. Мы предлагаем хорошенько ознакомиться с общими философскими проблемами, влияющими на широкий спектр образов мышления, и проводить нейробиологические, математические и философские исследования, необходимые для того, чтобы понять их к тому времени, когда появятся инженерные задачи.

По аналогии, нам ещё очень далеко до создания космических кораблей, перемещающихся даже с половиной скорости света. Но мы уже знаем, с какими проблемами может столкнуться корабль, перемещающийся быстрее света (теория относительности и ограничение скорости света) и уже породили несколько идей, чтобы обойти их (пузырь Алькубьерре). Мы пока не в состоянии построить такой двигатель. Но если к 2100 году мы обнаружим, как строить корабли, приближающиеся к скорости света, и по какой-то причине судьба планеты будет зависеть от наличия у нас кораблей, перемещающихся быстрее света, к 2120 году, будет замечательно сознавать, что мы проделали всю работу с теорией относительности заранее, и не теряем драгоценное время на обсуждение основ физики.

Вопрос «Можем ли мы сейчас провести исследование безопасности ИИ» глуп, поскольку мы уже провели определённое количество исследований в этой области. Они привели к пониманию таких проблем, как три упомянутые выше, и других. Есть даже несколько ответов на вопросы, хотя они и даны на технических уровнях, гораздо ниже, чем любые из этих вопросов. Каждый пройденный сегодня шаг позволяет нам не тратить на него время в будущем в обстановке спешки.

IV

Остаётся моё заявление за номером пять – если мы можем проводить исследования по поводу ИИ уже сегодня, мы должны их проводить, потому что нельзя рассчитывать на то, что наши потомки проведут эти исследования в условиях спешки без нашей помощи, даже используя свою, улучшенную модель того, что такое ИИ и как он выглядит. И у меня на это три причины.

Причина 1: предательский поворот

Модели ИИ у наших потомков могут быть обманчивыми. То, что работает для интеллекта ниже или на уровне человеческого, может не сработать для сверхчеловеческого. Эмпирическое тестирование не поможет без поддержки теоретической философии.

Бедная эволюция. У неё были сотни миллионов лет для того, чтобы разработать защиту от героина – который на крыс влияет примерно так же, как на людей – но ей было недосуг. Почему? Потому, что до прошлого века не было никого достаточно умного, кто мог бы синтезировать чистый героин. Так что пристрастие к героину не было проблемой, с которой сталкивались бы эволюционирующие организмы. Схема работы мозга, неплохо проявляющая себя у глупых животных, типа крыс или коров, становится опасной, попав к людям, достаточно умным, чтобы синтезировать героин или вставить электроды в центры удовольствия.

То же относится и к ИИ. ИИ уровня собак не научаться взламывать свой механизм вознаграждений. Этого, возможно, не смогут и ИИ уровня человека – я бы не смог взломать механизм наград робота, если бы мне его дали. Сверхинтеллект сможет. Мы можем столкнуться с ИИ, обучающиеся с подкреплением, которые отлично работают на уровне собаки, хорошо на уровне человека, и затем вдруг взрываются, переходя на уровень сверхинтеллекта – а к тому времени их уже поздно останавливать.

Это общее свойство выходящих из строя режимов безопасности ИИ. Если сказать простому человеку, чтобы он занимался миром во всём мире, то лучшее, что я мог бы сделать, это стать генсеком ООН и научиться вести переговоры. Дайте мне несколько тысяч ядерных боеголовок, и всё повернётся по-другому. ИИ уровня человека может преследовать цели мира во всём мире, лечения рака, непозволения людям получать ущерб путём бездействия, такими же путями, как это делают люди, а затем менять эти пути, когда он вдруг превратится в сверхумный и увидит новые возможности. И этот переход произойдёт в той точке, в которой люди уже не смогут его остановить. Если у людей будет возможность просто отключить ИИ, тогда самым эффективным для него способом избавления человечества от рака будет поиск лекарств. Если они не смогут его отключить, то самым эффективным будет уничтожение человечества.

В своей книге Ник Бостром называет такую схему «предательский поворот», и он обрекает на провал любого, кто хочет сначала подождать, пока не появится ИИ, а затем решать их моральные провалы путём проб, ошибок и наблюдений. Лучше будет обзавестись хорошим пониманием происходящего, чтобы затем предсказывать эти повороты заранее, и разрабатывать системы, избегающие их.

Причина 2: тяжёлый старт

Нэйтан Тейлор из Praxtime пишет:

Возможно, большая часть современных дебатов по поводу рисков ИИ просто варианты одного, более фундаментального спора: лёгкий старт или тяжёлый старт.

Лёгкий старт – это прогресс ИИ, идущий от уровня, ниже человеческого, до уровня тупого человека, до ещё более умного человека, и потом до сверхчеловеческого, медленно, в течение многих десятилетий. Тяжёлый старт – это быстрый прогресс ИИ, от нескольких дней до нескольких месяцев.

В теории, если подключить ИИ человеческого уровня к калькулятору, можно поднять его до уровня человека, умеющего очень быстро считать. Если подключить его к Википедии, можно передать ему все знания человечества. Если подключить его к накопителю в несколько гигабайт, можно сделать его обладателем фотографической памяти. Дать дополнительные процессоры, и ускорить его во много раз – так, что проблема, для решения которой у человека уйдёт целый день, займёт этот ИИ на 15 минут.

Мы уже перешли от «интеллекта на уровне человека» к «интеллекту на уровне человека со всеми знаниями, фотографической памятью, быстрыми вычислениями, решающему задачи в сотню раз быстрее людей». И уже получается, что этот «интеллект на уровне человека» уже не находится на уровне человека.

Следующая проблема – рекурсивное самосовершенствование. Возможно, этот ИИ человеческого уровня с фотографической памятью и огромной скоростью изучит программирование. Со своей возможностью поглощения учебников за секунды он станет отличным программистом. Это позволит ему исправлять свои собственные алгоритмы, чтобы повысить свой интеллект, что позволит ему увидеть новые способы сделаться более умным, и т.д. В результате он либо достигнет естественного максимума, или станет сверхумным за одно мгновение.

Во втором случае способ «подождать, пока появится первый интеллект человеческого уровня, и затем тестировать его» не сработает. Первый интеллект человеческого уровня слишком быстро превратится в первый интеллект сверхчеловеческого уровня, и мы не успеем решить даже одну из сотен проблем, связанных с соответствием наших целей.

Я не встречал пока подобных аргументов, но я бы сказал, что даже в случае тяжёлого старта мы можем недооценивать риски.

Представьте, что по какой-либо причине с точки зрения эволюции было бы круто обладать двумя сотнями глаз. 199 глаз ничем не помогают, они не лучше двух, но если вдруг появятся существа с 200 глазами, они навсегда станут доминирующим видом.

Самое сложное в вопросе с 200 глазами – это получить в результате эволюции глаза в принципе. После этого получить 200 глаз очень легко. Но могут пройти целые эпохи до того, как любой организм достигнет состояния с 200 глазами. Несколько десятков глаз тратят энергию впустую, поэтому эволюция может в принципе не добраться до точки, в которой у кого-нибудь появятся 200 глаз.

Допустим, то же самое работает и с интеллектом. Очень тяжело эволюционировать до крохотного крысиного мозга. А с этого момента получение мозга человека, способного доминировать в мире, будет лишь вопросом масштабирования. Но так как мозг тратит много энергии и не был так уж полезен до открытия технологий, его появление заняло очень много времени.

Подтверждений тому предостаточно. Во-первых, люди произошли от шимпанзе всего за несколько миллионов лет. Это слишком мало для того, чтобы переработать разум с нуля или даже изобрести новые эволюционные технологии. Этого достаточно, чтобы изменить масштаб и добавить пару эффективных изменений. Но обезьяны существовали десятки миллионов лет до этого.

Во-вторых, дельфины почти настолько же умные, как и люди. Но наш с ними общий предок жил где-то 50 млн лет назад. Либо люди и дельфины эволюционировали 50 млн лет независимо, или же самый последний из общих предков обладал всем необходимым для интеллекта, и люди с дельфинами – это всего лишь два вида животных в большом фамильном древе, для которых использование интеллекта на полную катушку стало полезным. Но этот предок был, скорее всего, сам не умнее крысы.

В-третьих, люди могут пугающе быстро увеличивать интеллект под давлением эволюции. Если верить Кокрэну, IQ ашкенази рос на 10 пунктов каждую тысячу лет. Люди, страдающие от торсионной дистонии, могут набирать 5–10 пунктов IQ из-за одной мутации. Всё это говорит о том, что интеллект легко менять, но эволюция решила, что он не стоит развития, разве что в отдельных, особых случаях.

Если это так, тогда первый ИИ сравнимый по уровню с крысами уже будет содержать все интересные открытия, необходимые для постройки ИИ уровня человека и первого сверхумного ИИ. Обычно люди говорят, что «Ну да, может, мы скоро и сделаем ИИ уровня крысы, но пройдёт ещё много времени до того, как его уровень сравняется с человеческим». Но это предположение основано на том, что нельзя превратить интеллект крысы в человеческий, просто добавив процессоров или больше виртуальных нейронов или их связей или чего-то ещё. Ведь компьютеру не нужно беспокоиться по поводу ограничений, связанных с метаболизмом.

Причина 3: временные ограничения

Бостром и Мюллер опрашивали исследователей ИИ по поводу того, когда те ожидают появления ИИ уровня человека. Медиана предсказаний легла на 2040 год – это через 23 года.

Люди размышляли над пари Паскаля 345 лет, и не придумали обобщённого решения этого парадокса. Если это будет проблемой для ИИ, у нас осталось 23 года для решения не только этой задачи, но и вообще всего класса проблем, связанных с ИИ. Даже исключая варианты вроде неожиданного тяжёлого старта или предательских поворотов, и принимая гипотезу о том, что мы можем решить все проблемы за 23 года, этот срок не кажется таким уж большим.

Во время дартмутской конференции по ИИ в 1956 году лучшие исследователи составили план по достижению человеческого уровня интеллекта и назначили себе срок в два месяца на обучение компьютеров пониманию человеческого языка. Оглядываясь назад, это кажется немного оптимистичным прогнозом.

Но сейчас компьютеры уже научились более-менее сносно переводить тексты, и неплохо развиваются в области решения сложных задач. Но когда люди думают о таких вещах, как теория принятия решений или имплантация электродов или выравнивание целей, они говорят просто: «Ну, у нас полно времени».

Но ожидать, что эти проблемы удастся решить всего за несколько лет, возможно, будет также оптимистично, как решить задачу машинного перевода за два месяца. Иногда задачи оказываются сложнее, чем вы предполагали, и стоит начинать заниматься ими раньше, просто на всякий случай.

Всё это означает, что теоретические изыскания по поводу рисков ИИ стоит начинать уже сегодня. Я не говорю, что на это нужно бросить все ресурсы цивилизации, и я слышал, что некоторые считают, что после гранта в $10 млн от Маска эта проблема стала уже не такой насущной. Я думаю, что и с публичным осознанием этого факта уже нет проблем. Средний человек, смотрящий кино про роботов-убийц, скорее приносит вред, чем пользу. Если и существует проблема, то она в том, чтобы умные люди из нужных областей знания – философии, ИИ, математики, нейробиологии – смогли потратить своё время на решение этих задач и убедить своих коллег в их серьёзности.