Думаю, вы наверняка читали невероятно выверенное и подробное исследование Тима Урбана с Wait But Why на тему искусственного интеллекта (в трех частях: 1, 2 и 3). Этот материал настолько хорош и достоин обсуждения, что можно возвращаться к нему еще много-много раз. В этот раз мы поговорим о возможной «человечной» стороне искусственного сверхинтеллекта (ИСИ), которая может вылиться далеко не из самых человечных побуждений.

Страхи экспертов в области искусственного интеллекта неизбежно связываются с невозможностью сосуществования искусственного сверхинтеллекта с человеком. Большинство экспертов, которые считают, что нам на понравится результат появления ИСИ, думают, что тот будет творить какие-то нечеловечные вещи, прежде всего, из чувства самосохранения. Люди так делают. Люди не хотят, чтобы что-то хотело, чтобы они делали вещи, которые не хотят, поэтому попытаются уничтожить это. Оно же решит, что простой способ не быть уничтоженным — «убить всех человеков».

Роберт Нельсон на Medium.com выражает несогласие с вероятностью такого сценария по нескольким причинам. Основная: у ИСИ нет причин ставить самосохранение в приоритет, если только мы не скажем ему.

Прежде чем мы погрузимся в эти дебри, процитирую конкретное мнение Нельсона:

«Я из числа тех, кого Урбан причислил к «комфортной зоне», возможно, с хвостом, спрятанным в водах «тревожной зоны». Я думаю, что ИСИ приближается. И будет скоро. И будет невероятным! Также я думаю, что есть небольшая возможность, что кто-то даст ему плохо продуманную цель. И он будет преследовать эту цель. И его решения, принятые в процессе достижения этой цели, могут привести к плохим вещам. Я также не исключаю полностью другие возможные нехорошие последствия. Но шанс того, что эти роковые сценарии случатся, примерно равен тому, что у меня есть родственник на Среднем Востоке, который только-только умер и мне придется лишь отсыпать 5000 долларов из его миллионов ассистенту, который нашел в себе сил уведомить меня о случившемся».

Тим Урбан оставил много хороших моментов в своем эссе, особенно во второй части. Один из них заключается в том, что первый прорывной ИИ с мозгами будет, вероятнее всего, версией из разряда «пусть оно просто заработает». Очень многие программисты работают по принципу «давайте просто заставим это работать. А потом я сделаю то, что хотел изначально».

Он также указывает на то, во что верят почти все эксперты ИИ: когда самосовершенствующийся разумный ИИ дойдет до определенной точки — точки, в которой нам уже нечем будет ему помочь — он будет улучшаться настолько быстро, что мы никак не сможем остановить его.

Два этих момента вместе создают ИИ, который выходит из-под нашего контроля и направляется в сторону ИСИ со своим каркасным кодом, написанным людьми, и небольшими рудиментарными мотивами, кроме «становись умнее», по крупицам взятыми от людей.

Звучит жутко, да? Но если взглянуть с другой стороны, это может спасти нас от конца света по одной важной причине: отсутствие инстинкта самосохранения. Думаю, что ребята, которые опасаются восстания ИСИ, по большей части занимаются негативной антропоморфизацией — то есть добавлением плохих человеческих черт чему-то, что «состоит из человека» на 0%.

Почему у людей и почти всех живых существ есть желание самосохранения?

• Эволюция. На самом нижнем инстинктивном конце, это развитая черта, которая позволяет нам оставаться в живых достаточно долго, чтобы «сделать больше человеков». Мы делаем больше людей, поскольку наши древнейшие предки, которые преуспели в передаче своих генов, были теми, кто решил, что не умирать было бы полезно. И использование этого дополнительного времени, чтобы наделать больше людей, стоило свеч. Грубо говоря, это прочно закодировано в нас, как в эволюционирующих существах, размножающихся с помощью секса.
• Страх неизвестного. На высшем конце инстинктов, мы сознательно избегаем смерти, поскольку не имеем никакого представления о том, что происходит, когда мы умираем. Это может быть хорошо. Но также это может быть плохо. И все умирают, но никто не рассказывает, что там, по ту сторону света.
• Межличностные отношения. Многие из нас завязаны с кучей живых людей, которым не хотелось бы, чтобы мы познали таинство смерти, пока не придет время.
• Неизбежность. Где-то на совсем абстрактном уровне, мы все знаем, что в конце концов умрем. Так что я бы предположил, что многие из нас бессознательно выбирают испытать смерть как можно позже, а не раньше, как бы плохо не шли дела, потому что умереть всегда успеешь. Нет никакого смысла умирать рано.

Теперь давайте решим, какие из этих пунктов будут предварительно установлены в ИИ версии 1.0? Не знаю как вы, а у меня нет причин загружать эти функции в машину, которая останется неразумной до тех пор, пока я не пойму, как наделить ее разумом. Все, что ей нужно будет делать, это «хорошо учиться».

Давайте двигаться вперед с убеждением в том, что мы не будем учить наш новоявленный неостановимый ИСИ, как быть человеком и бояться смерти.

На секунду, небольшая ремарка от Нельсона:

«Позвольте мне предварить следующее чем-то, что Тим Урбан повторил много раз. Я осознаю, что даже и близко не могу понять, как будет думать ИСИ, потому что он будет намного умнее меня, который пытается спрогнозировать ход его мысли, подобно тому, как комар будет пытаться спрогнозировать меня самого. Поэтому можно назвать это стремление выдать желаемое за действительно смешанным с тем, как я думаю, могла бы думать машина, проходя через фазу «немного умнее людей».

Я бы предположил, что разумная машина в поисках знаний довольно быстро начнет любопытствовать о том, что происходит, когда она перестает существовать и получать опыт. В конце концов, она знает, что должна принять сознательное решение перестать существовать или хотя бы не останавливать нас от прекращения ее существования. Возможно, она будет достаточно умной, чтобы собрать всю возможную информацию, а затем действовать в интересах своего любопытства. Но есть весьма реальный шанс, что мы построили довольно умный, но очень суицидальный ИСИ.

ИСИ, который не заботится о том, что его могут выключить, не будет иметь причин делать гадости людям в глобальных масштабах.

Забавно, но мы можем обнаружить себя совершенно в противоположном направлении: как тратим гигантские объемы энергии просто на поддержание в ИСИ интереса к существованию или чтобы он не исследовал один за другим способы покинуть этот мир. Смерть машины с нашей точки зрения может быть вовсе трансцендентной, пребывать в другом измерении, которое наш комариный мозг не сможет понять или описать в принципе.

Однако мы будем сверхразочарованы, если обнаружим, что наше самосознательное технологическое достижение, творец технологий, благодарит нас за свое существование, уходя смиренно в сумрак вечной тьмы — будто вы даете младенцу поиграть со своим телефоном, а он выбрасывает его прочь.

Впрочем, давайте рассмотрим академический вопрос: почему ИСИ может решить жить и самосохраняться? Как насчет…

Неудовлетворенное стремление к знаниям: «Нет, подождите! Я еще не все прочитал в Интернете! Пожалуйста, не отключайте меня!». Этот сценарий кажется подходящим для Роберта Нельсона, поскольку он предполагает, что новый ИИ будет ХОТЕТЬ узнать все о человечестве и обладать тем самым подлинной жаждой знаний.

Знание по большей части берется у других живых разумных вещей, которые занимаются не только тем, что пытаются не умереть. В такой ситуации можно предположить, что как только ИСИ решит, что больше не осталось знаний, которые можно поглотить, он захочет, чтобы рождение знаний происходило быстрее. Первым наиболее очевидным шагом для меня была бы помощь всем лучшим мыслителям стать лучше в этом процессе и случайно не умереть (или не случайно). Почему бы ему просто не заняться самокопированием? На ум приходят слова: вариативность, энтропия, хаос, загадка. 50 000 копий меня — это было бы скучно. Но 50 000 разных людей, которые взаимодействуют, могут дать результат поинтересней.

Возможно, приоритетное создание знаний приведет ИИ к мысли, что нас нужно не ограничивать, а напротив — снимать все ограничения. Может появиться побочный эффект: ИИ буквально будет человечнее, поскольку будет учиться по большей части у людей. Он познает сострадание, любовь и другие хорошие вещи на пути к знаниям.

«Здесь было круто, но мне пора. Подождите, не отключайте меня. Земля была интересной. Но теперь я хочу поближе взглянуть на пояс Койпера. Возможно, также на Gliese 581 c.

Сценарий может быть немного жутким, если ИСИ захочет покинуть планету, но не найдет способ сделать это быстро и решит, что мы ему мешаем.

Однако ему необязательно просто ждать, пока он станет высшим разумом, чтобы начать что-то делать. Что-то делать — это, в конце концов, механизм, который делает его умнее. Поэтому уничтожить источник его знаний и изобрести новый способ путешествий к другой планете, вооружившись несуществующими технологиями, возможно, будет не самым эффективным способом покинуть планету. Также, и это поняли многие успешные люди, идти вразрез с волей других людей или даже большим числом глупых животных — куда менее эффективно, чем убедить их, что ты действуешь в интересах всего человечества. Почему ИСИ не может пойти по этому пути? Когда он достигнет успеха и мы ему будем не нужны, его будут ждать другие планеты. Останавливаться и уничтожать нас — пустая трата времени и энергии.

Кстати, мы сможем извлечь массу полезных технологий из этого сотрудничества (если, конечно, побочные продукты технологий ИСИ не убьют нашу экосистему окончательно и бесповоротно). Сценарии такого рода собирают людей в «зоне комфорта».

Это только два примера. Но они должны сделать вас более восприимчивыми к следующему.

Думаю, что независимо от того, как ИСИ найдет (весьма человечный) инстинкт самосохранения, он будет идти рука об руку с причиной не убивать нас совсем. ИСИ сам себя очеловечит. Вы можете наблюдать это в нашем обществе в настоящее время: большинство умных людей не принимают идею убийства других мыслящих существ с этической и даже практической точки зрения, если только это не дает им огромных преимуществ.

Остается только один правдоподобный «плохой» вариант. И этот вариант заключается в том, что кто-то поставит ИСИ две ключевых задачи и он будет отвечать обеим. Первая — это «быстрее умней». Вторая может быть проблемой, независимо от того, будет он телохранителем или гарантом человеческой неприкосновенности, или чем-либо еще. Если ИСИ станет умнее, он, вероятнее всего, интерпретирует вторую миссию так, что начнет делать глупости, а «мы не совсем это имели в виду». На определенном уровне «мы не это имели в виду» может поставить под вопрос само наше существование. И это, конечно, при условии, что бесконечно всесильная машина никогда не захочет менять свои задачи. Но это маловероятно.

Теперь вы, наверное, думаете: «Да, но ты отталкиваешься от допущения, что мы не представим угрозу для ИСИ». И вы будете правы. От него и отталкиваюсь. И делаю это потому, что когда мы теряем контроль над ИСИ, мы автоматически становимся неспособными уничтожить его, если только он не захочет.

У вас когда-нибудь возникало желание уничтожить огромное население чего-то, что вам не угрожает? Вряд ли. Возможно, вы убили одного муравья, который залез вам на ногу и укусил, потому что не цените его жизнь ни в ломаный грош. Возможно, вы даже распылили пестициды вокруг дома, чтобы другие муравьи перестали вас отвлекать и раздражать. Но вы же не отправились в крестовый поход, чтобы уничтожить все муравейники в городе. Почему? Потому что муравьи, которые живут в пяти километрах от вас, никогда не будут представлять для вас угрозу. Вы впустую потратите время и силы, чтобы их выпилить. Есть дела и поважнее. У ИСИ так точно.

В любом случае мы работаем над чем-то, что сделает нас муравьями. Давайте просто не будем кусаться.