Я слышал, что в будущем компьютерные ИИ станут настолько умнее нас, что отнимут у нас все рабочие места и ресурсы, а люди вымрут. Так ли это?
Это самый частый вопрос, который мне задают на моих выступлениях по поводу ИИ. Задающие его люди искренне волнуются, и их беспокойство происходит от других людей – экспертов, задающихся тем же самым вопросом. Среди них можно встретить умнейших из живущих сегодня людей

Среди них можно встретить умнейших из живущих сегодня людей – это, к примеру, Стивен Хокинг, Илон Маск, Макс Тегмарк, Сэм Харрис и Билл Гейтс, – и все они верят в возможность такого сценария. На недавней конференции, посвящённой проблемам ИИ, комитет из девяти наиболее сведущих в области ИИ людей согласился, что скорого появления сверхчеловеческого ИИ нам не избежать.

Но этот сценарий завоевания мира ИИ включает в себя пять предположений, которые, как выясняется при их внимательном изучении, не основаны на доказательствах. Эти заявления в будущем могут оправдаться, но сейчас ни у одного из них нет доказательств. Вот эти предположения:

1. ИИ уже становится умнее нас, и его мощь растёт экспоненциально.
2. Мы создадим ИИ общего назначения, похожий на наш собственный.
3. Мы способны создать человеческий интеллект на базе кремния.
4. Интеллект способен расти без ограничений.
5. После взрыва сверхинтеллекта он поможет нам решить все наши проблемы.

В качестве возражения этому ортодоксальному канону я приведу пять еретических заявлений, которые, как мне кажется, имеют под собой больше оснований.

1. Интеллект не одномерен, поэтому концепция «умнее людей» не имеет смысла.
2. Ни у людей, ни у ИИ нет сознания общего назначения.
3. Эмуляция человеческого мышления на других носителях будет ограничена стоимостью его создания.
4. Размерности интеллекта не бесконечны.
5. Интеллект – всего лишь один из факторов прогресса.

Если ожидание появления сверхчеловеческого ИИ (СИИ) основано на пяти ключевых предположениях, не имеющих доказательств, тогда эта идея больше похожа на религиозную веру или на миф. Далее я развёрнуто объясню каждое из своих пяти контр-предположений, и докажу, что СИИ – на самом деле миф.

1.

Самое распространённое заблуждение по поводу ИИ начинается с заблуждения по поводу естественного интеллекта. Оно состоит в том, что интеллект одномерен. Большинство технарей склонны к изображению интеллекта так, как Ник Бостром делает это в книге «Сверхинтеллект» [Superintelligence] – как одномерный линейный график с увеличивающейся амплитудой.

С одного края находится низкий интеллект, допустим, небольшого животного; с другого – высокий, допустим, гения – будто бы интеллект можно представить как уровень звука в децибелах. Конечно, в таком случае легко представить, что громкость интеллекта продолжает расти и в итоге превышает наш высокоинтеллектуальный уровень и становится сверхгромким интеллектом – рёвом! – недоступным нам и выходящим за пределы графика.

Эта модель топологически эквивалентна лестнице, на которой каждая последующая ступенька интеллекта находится на шаг выше, чем предыдущая. Младшие животные находятся на нижних ступеньках, а ИИ высокого уровня обгонит нас и окажется на ступеньках выше. Временная шкала этого события не имеет значения, имеет значение только ранжирование – метрика увеличивающегося интеллекта.

Проблема этой модели в том, что она так же мифична, как лестница эволюции. До Дарвина природный мир рассматривали в качестве лестницы, на которой младшие животные располагались ниже человека. Даже после Дарвина было принято думать об эволюции, как о «лестнице», согласно которой рыбы превратились в рептилий, затем в млекопитающих, затем в приматов, в человека, и каждый этап находится на чуть более высокой «ступени эволюции», и, следовательно, считается умнее предыдущих. Так что лестница интеллекта согласуется с лестницей существования. Но у этих моделей совершенно ненаучный подход.

Более точное изображение естественной эволюции видов – расширяющийся диск, как на картинке выше, впервые предложенный Дэвидом Хиллисом из Техасского университета, и созданный на базе ДНК. Эта генеалогическая мандала начинается в центре с наиболее примитивных форм жизни, а затем разветвляется наружу во времени. Время движется наружу, поэтому самые новые виды жизни, населяющие планету сегодня, находятся по периметру окружности. Это изображение подчёркивает факт эволюции, который трудно принять: каждый из живущих сегодня видов одинаково эволюционно развит. Люди существуют на этом кольце совместно с тараканами, моллюсками, папоротниками, лисами и бактериями. Каждый из видов прошёл непрерывную цепь в три миллиарда лет успешного воспроизводства, что значит, что сегодняшние бактерии и тараканы настолько же эволюционно развиты, как и люди. Нет никакой лестницы.

Точно так же нет никакой лестницы и у интеллекта. Интеллект не одномерен. Это комплекс из многих типов и режимов распознавания, каждый из которых представляет собой континуум. Возьмём простейшую задачу измерения интеллекта животных. Если бы интеллект был одномерным, нам было бы просто выстроить в правильном восходящем порядке интеллекты попугая, дельфина, лошади, белки, осьминога, голубого кита, кошки и гориллы. Но сегодня у нас нет никаких научных подтверждений существования такой линии. Одной из причин этого могло бы быть отсутствие разницы между интеллектами у животных, но и этого мы также не видим. В зоологии полно удивительных примеров различия мышления животных. Но может быть, у них у всех есть один относительный «интеллект общего назначения»? Возможно, но для него у нас нет способа измерений и метрик. У нас есть множество разных метрик для множества типов познания.

Вместо одной линии с децибелами более точной моделью интеллекта будет график его вероятностного пространства, как, например, рисунок выше, представляющий возможные формы. Интеллект – это комбинаторный континуум. Множество узлов, каждый из которых – континуум, создают сложные и разнообразные конструкции в высших измерениях. Некоторые интеллекты могут быть очень сложными и обладать множеством подузлов мышления. Другие могут быть проще, но протягиваться дальше, занимая угол в пространстве. Эти комплексы, которые мы называем интеллектами, можно рассматривать как симфонии с участием множества типов инструментов. Они различаются не только по громкости, но и по тону, мелодии, цвету, темпу и т.д. Их можно представить в виде экосистемы. И в этом смысле различные узлы-компоненты мышления зависят друг от друга и создаются совместно.

Как говорил Марвин Минский, человеческие умы – это сообщества разумов. Мы работаем на экосистемах мышления. У нас внутри есть множество видов мышления, занимающихся многими типами размышлений: дедукцией, индукцией, символической логикой, эмоциональным интеллектом, пространственной логикой, краткосрочной памятью и долгосрочной памятью. Нервная система нашего кишечника тоже представляет собой мозг некоего типа со своим режимом мышления. Мы думаем не просто одним мозгом, мы думаем всем телом целиком.

Эти комплекты мышления разнятся от индивида к индивиду и от вида к виду. Белка может помнить точное расположение нескольких тысяч желудей годами, что совершенно поражает человеческий разум. Так что в этом виде мышления белки превосходят людей. Эта сверхспособность связана с другими режимами, меркнущими по сравнению с нашими, и эта связь составляет разум белки. В животном мире множество других примеров возможностей, превосходящих человеческие, и они также включены в разные системы.

То же верно и для ИИ. Искусственные умы уже превосходят людей в определённых измерениях. Ваш калькулятор – гений математики, память Google уже превосходит нашу в определённом измерении. Мы создаём ИИ, выделяющиеся в определённых режимах. Некоторые из этих вещей мы способны делать и сами, но они делают это лучше – к примеру, в областях вероятности или математики. Другие режимы мышления нам недоступны – запомнить каждое слово на шести миллиардах веб-страниц может только поисковая система. В будущем мы придумаем совершенно новые типы мышления, которых нет у нас, да и вообще в живой природе. Изобретая искусственный полёт, мы вдохновлялись биологическими режимами полётов, в основном хлопаньем крыльев. Но мы изобрели такие полёты – с пропеллерами и фиксированными крыльями – которые биологическому миру были неизвестны. Это чужой полёт. Точно так же мы придумаем новые режимы мышления, несуществующие в природе. Во многих случаях они будут новыми, специфическими, небольшими режимами, предназначенными для определённой работы – возможно, тип рассуждений, пригодный только для статистики и теории вероятностей.

В других случаях новый разум будет сложным комплексом из таких типов мышления, которые мы сможем использовать для решения проблем, не поддающихся нашему интеллекту. Многие из сложнейших проблем бизнеса и науки могут потребовать двухэтапного решения. Первый этап: изобрести новый режим мышления, способный работать с нашим разумом. Второй: скомбинировать их для решения проблемы. Поскольку мы решаем проблемы, недоступные нам ранее, мы хотим назвать этот новый тип мышления «более умным», чем мы, но на самом деле он просто отличается от нас. Главное преимущество ИИ – отличное от нашего мышление. Думаю, что полезно думать об ИИ как об инопланетном мышлении (или об искусственных пришельцах). Его необычность будет его главным достоинством.

В то же время мы будем интегрировать эти различные режимы мышления в более сложные сообщества разума. Некоторые из этих комплексов будут сложнее нашего, поскольку они смогут решать проблемы, недоступные нам, и тогда кто-то захочет назвать их сверхчеловеческими. Но мы не называем Google СИИ, хотя его память превосходит нашу, поскольку есть много вещей, которые мы можем делать лучше него. Эти комплексы ИИ смогут превзойти нас по многим измерениям, но ни один не сможет делать всё, что мы делаем, лучше нас. Это можно сравнить с физическими возможностями людей. Индустриальной революции уже 200 лет, и хотя в целом машины превосходят физические возможности человека (скорость передвижения, поднятие тяжестей, точная резка и т.п.), не существует машины, способной превзойти среднего человека во всём, что он делает.

И хотя сообщество разумов в ИИ становится всё более сложным, эту сложность пока что сложно измерить научно. У нас нет хороших метрик для сложности, способных определить, сложнее ли огурец самолёта Boeing 747, или описать то, как различаются их сложности. Это одна из причин, по которой у нас нет хороших метрик для ума. Будет очень сложно определить, сложнее ли разум А разума Б, и поэтому, сложно понять, кто из них умнее. Вскоре мы придём к пониманию того, что ум не одномерен, и нам на самом деле интересно всё то множество способов, по которым способен функционировать интеллект – все те узлы познания, которые мы ещё не обнаружили.

2.

Второе заблуждения, связанное с человеческим интеллектом – наша вера в то, что наш разум универсален, это разум общего назначения. Эта вера привела к появлению часто заявляемой цели исследователей ИИ по созданию обобщённого ИИ, ОИИ. Однако, если рассматривать интеллект, как больше пространство возможностей, у него не существует обобщённого состояния. Человеческий интеллект находится не в некоей центральной позиции, вокруг которой вращаются другие специализированные интеллекты. Человеческий интеллект – очень, очень особый тип интеллекта, появившийся в результате миллионов лет эволюции для того, чтоб наш вид выжил на этой планете. Если поместить его в пространство всех возможных интеллектов, он будет находиться где-нибудь в углу, как и наш мир находится на краю огромной галактики.

Мы определённо можем представить и даже изобрести мышление, напоминающее универсальный швейцарский нож. Он неплохо справляется с кучей задач, но ни с одной из них не справляется очень хорошо. ИИ будет следовать той же самой инженерной максиме, которой следуют все созданные или рождённые вещи: нельзя оптимизировать каждое измерение. Возможны только компромиссы. Не получится создать обобщённый многофункциональный агрегат, превосходящий специализированные. Большой разум, «способный на всё», не сможет делать всё это так же хорошо, как специализированные. Поскольку мы верим в обобщённость нашего разума, мы считаем, что мышление не обязано следовать инженерным компромиссам, что возможно будет создать интеллект, максимизирующий все режимы мышления. Но этому нет доказательств. Мы ещё не изобрели достаточно вариантов разума, чтобы увидеть всё пространство (и пока что мы отметаем разумы животных, оценивая их одномерной амплитудой).

3.

Часть этой веры происходит из концепции универсальных вычислений. Это предположение, формально описанное в 1950 году, как ""тезис Чёрча — Тьюринга«:[https://ru.wikipedia.org/…%D0%B3%D0%B0]», утверждает, что все вычисления, достигающие определённого порога, эквивалентны. Поэтому для всех вычислений есть универсальное ядро, и происходят ли они в одной машине со множеством быстрых частей, или медленных частей, или в биологическом мозгу – всё это один и тот же логический процесс. А это значит, что возможно эмулировать любой вычислительный процесс (мышление) в любой машине, способной на «универсальные» вычисления. Приверженцы сингулярности основываются на этом принципе, ожидая, что мы сможем создать кремниевые мозги, способные вместить человеческий разум, и что мы можем создать искусственный разум, думающий, как люди, только гораздо умнее. К этой надежде стоит относиться скептически, поскольку она зиждется на неправильном понимании гипотезы Чёрча-Тьюринга.

Отправная точка этой гипотезы следующая: «При наличии бесконечной плёнки (памяти) и времени, все вычисления эквивалентны». Проблема в том, что в реальности у компьютера нет бесконечной памяти и времени. В реальном мире реальное время имеет решающее значение, часто даже это вопрос жизни и смерти. Да, всё мышление может быть эквивалентным, если игнорировать время. Да, можно эмулировать человеческое мышление на любой матрице, если только вы игнорируете время или реальные ограничения хранения данных и памяти. Однако, включив время, можно будет существенно переопределить этот принцип: «Две вычислительные системы, работающие на сильно различающихся платформах, не будут эквивалентными во времени». Или: «Единственный способ получить схожие модели мышления – запускать их на эквивалентных платформах». Физическая материя, на которой работают вычисления – особенно когда они становятся более сложными – кардинально влияет на тип мышления, способный успешно функционировать в реальном времени.

Я продолжу эти рассуждения и скажу, что единственный способ получить близкий к человеческому процесс мышления – запустить вычисления на мягкой и влажной ткани, похожей на человеческую. А это значит, что очень большие и сложные ИИ, работающие на сухом кремнии, дадут нам большие, сложные и нечеловеческие типы мышления. Если станет возможным создать искусственный влажный мозг с использованием выращенных нейронов, похожих на человеческие, то я бы сказал, что его мысли будут очень похожими на наши. Преимущества такого влажного мозга пропорциональны тому, насколько похожей мы сможем сделать основу. Стоимость создания такого «человеческого компьютера» огромна, и чем ближе ткань к ткани мозга, тем эффективнее по стоимости будет просто создать человека. В конце концов, это мы можем сделать за девять месяцев.

Более того, как указано выше, мы думаем при помощи всего тела, а не только лишь одним мозгом. У нас есть множество данных, показывающих, что нервная система кишечника направляет наш «рациональный» процесс принятия решений, что она способна обучаться и предсказывать события. Чем больше мы моделируем систему тела человека, тем ближе мы подходим к её воспроизведению. Интеллект, работающий, на сильно отличающемся теле (на сухом кремнии вместо влажного углерода) будет думать по-другому.

Мне кажется, что это не баг, а фича. Как я упоминал в п.2, отличие мышления от человеческого – главное достоинство ИИ. Это ещё одна из причин, по которой ошибочно говорить, что он «умнее людей».

4.

В центре понятия о сверхчеловеческом интеллекте – в особенности, представления о том, что такой интеллект будет постоянно улучшаться – лежит вера в то, что шкала интеллекта бесконечна. Я не вижу этому доказательств. Верить в это помогает ошибочное представление об одномерности интеллекта – но это всего лишь вера. Во Вселенной нет достоверно известных науке бесконечных физических измерений. Температура не бесконечна – есть конечный холод и конечная жара. Время и пространство конечны. Конечна скорость. Возможно, числовая прямая в математике и бесконечна, но физические атрибуты имеют ограничения. Разумно будет утверждать, что и сам разум конечен. Так что вопрос состоит в том, где находится предел интеллекта? Мы склонны верить в то, что он находится далеко за пределами нашей досягаемости, он гораздо «выше» нас, настолько, насколько мы «выше» муравья. Если оставить постоянно возникающую проблему одномерности, какие у нас есть доказательства того, что мы уже не достигли этого предела? Почему мы не может быть на максимуме? Или, возможно, этот предел находится совсем недалеко от нас? Почему мы верим в то, что интеллект – это нечто, что может расширяться вечно?

Гораздо лучше подходить к этому вопросу, рассматривая наш интеллект как один из множества возможных типов интеллекта. И даже если у каждого измерения мышления и вычислений есть ограничение, при существовании сотен измерений может существовать бессчётное количество разумов – ни один из которых не будет бесконечным в любом из измерений. Когда мы будем встречать или создавать эти варианты разумов, мы можем решить, что какие-то из них превосходят наш. В моей последней книге «Неизбежное» [The Inevitable] я обрисовал некоторые типы таких разумов, которые могут в чём-то превосходить наш. Вот их неполный список:

• Разум, похожий на человеческий, но работающий быстрее (ИИ такого рода представить проще всего).

• Очень медленный разум, отличающийся огромными объёмами хранилищ информации.

• Глобальный супермозг, составленный из миллионов слаженно работающих примитивных разумов.

• Сверхразум улья, состоящий из множества умных разумов, не осознающих свою принадлежность к улью.

• Кибернетический разум, состоящий из умных разумов, осознающих свою принадлежность к коллективному разуму.

• Разум, специально предназначенный для улучшения работы лично вашего разума, и бесполезный для кого-то ещё.

• Разум, способный представить себе более совершенный разум, но неспособный его изготовить.

• Разум, способный изготовить совершенный разум, но не осознающий себя в достаточной мере для того, чтобы его представить.

• Разум, способный единожды успешно создать более совершенный разум.

• Разум, способный успешно создать более совершенный разум, который в свою очередь способен создать ещё более совершенный разум, и т.п.

• Разум, обладающий доступом к своему исходному коду, и способный влиять на свою работу.

• Суперлогичный разум без эмоций.

• Разум, способный решать общие проблемы, но не осознающий себя.

• Осознающий себя разум, неспособный решать общие проблемы.

• Разум, для развития которого требуется много времени и защищающий его разум.

• Чрезвычайно медленный разум, распределённый по большому физическому объёму, в связи с чем он незаметен для более быстрых умов.

• Разум, способный к быстрому и точному самоклонированию.

• Разум, способный к самоклонированию, после чего он может оставаться объединённым со своими клонами.

• Бессмертный разум, способный мигрировать между платформами.

• Быстрый и динамичный разум, способный менять процесс и характеристики своей работы.

• Наноразум, самый мелкий из возможных с энергетической и физической точек зрения.

• Разум, специализирующийся на предсказаниях развития событий.

• Разум, никогда ничего не стирающий и не забывающий.

• Симбиотический разум в полумашине-полуживотном.

• Кибернетический разум в полумашине-получеловеке.

• Разум, использующий квантовые вычисления, с недоступной для нас логикой.

Некоторые готовы называть любой разум из этого списка СИИ, но само разнообразие и чужеродность таких разумов заставить нас разрабатывать новые термины и понятия по поводу интеллекта и ума.

Потом, верующие в СИИ предполагают экспоненциальный рост интеллекта (по какой-то неопределённой метрике), возможно, потому, что они считают, что он уже развивается экспоненциально. Однако пока нет никаких доказательств что интеллект развивается экспоненциально, как его ни измеряй. Под экспоненциальным ростом я понимаю рост, при котором ИИ удваивает свою мощность через некие регулярные интервалы. Где доказательства? Я их не могу найти. Если их нет сегодня, почему принято считать, что они появятся? По экспоненте пока что растёт только количество входных данных для ИИ, а также ресурсов, посвящённых производству наиумнейших интеллектов. Но результаты их работы не растут по закону Мура. ИИ не становятся в два раза умнее каждые три года или даже каждые 10 лет.

Я просил многих экспертов по ИИ предоставить доказательства экспоненциального роста возможностей ИИ, но все они согласились, что у нас нет метрики для ИИ, и вообще он так не работает. Когда я спросил Рэя Курцвейла, самого волшебника экспоненты, где можно взять доказательства экспоненциального роста ИИ, он ответил мне, что ИИ не растёт по экспоненте, он растёт по уровням. Он написал: «Требуется экспоненциальное улучшение в вычислениях и алгоритмической сложности, чтобы добавить дополнительный уровень в иерархии… Так что мы можем ожидать линейного добавления уровней, поскольку на добавление каждого уровня требуется экспоненциально больше сложности, и прогресс наших возможностей в этой области в самом деле растёт экспоненциально. Нам осталось не так много уровней до возможностей коры головного мозга, так что мой прогноз на 2029 год пока мне нравится».

Судя по всему, Рэй хочет сказать, что экспоненциально растут не возможности ИИ, а наши затраты на его создание, при этом его выход просто каждый раз поднимается на один уровень. Это предположение почти противоположно экспоненциальному росту интеллекта. В будущем это может и поменяться, но сегодня ИИ явно не растёт экспоненциально.

Поэтому, представляя себе «взрыв интеллекта», мы должны представлять его не как цепную реакцию, а как рассеивающееся размножение новых вариантов. Кембрийский взрыв, а не ядерный взрыв. Результаты ускоряющейся технологии, скорее всего, будут не сверхчеловеческими, а экстрачеловеческими. Вне нашего опыта, но не обязательно «над» ним.

5.

Другая, не опровергаемая никем вера в пришествие СИИ, не поддерживаемая доказательствами, состоит в том, что сверхинтеллект почти бесконечной мощности быстро решит все наши основные нерешённые задачи.

Многие сторонники взрыва интеллекта считают, что он приведёт к взрыву прогресса. Я называют эту мифическую веру «размышлизмом» [thinkism]. Это ошибочное представление о том, что будущие ступени прогресса недостижимы только из-за недостатка мыслительных мощностей, или интеллекта. Отмечу, что вера в то, что размышления – это волшебная панацея для всего, распространена среди многих людей, которым нравится думать.

Возьмём излечение от рака или продление жизни. Такие проблемы не решишь одним размышлением. Никакого размышлизма не хватит, чтобы понять, как стареют клетки или как отпадают теломеры. Никакой супер-пупер-интеллект не сможет понять, как работает тело человека, просто прочтя всю известную научную литературу в мире и обдумав её. Никакой СИИ не может, просто подумав обо всех экспериментах с ядерным синтезом, выдать работающую схему ядерного синтеза. Для преодоления пути от незнания того, как что-то работает, к пониманию того, как что-то работает, требуется гораздо больше, чем просто размышления. В реальном мире производят кучи экспериментов, каждый из которых приводит к появлению гор противоречивых данных, требующих дальнейших экспериментов для создания рабочей гипотезы. Размышления о потенциальных данных не дадут вам правильных данных.

Размышление – лишь часть науки, возможно, даже, малая её часть. К примеру, у нас не хватает нужных данных, чтобы приблизиться к решению проблемы смерти. При работе с живыми организмами почти все эксперименты требуют времени. Медленный метаболизм клетки нельзя разогнать. Получение результатов занимает годы, месяцы, по меньшей мере, дни. Если мы хотим узнать, что происходит с субатомными частицами, мы не можем просто думать о них. Нам нужно построить огромные, сложные, хитрые физические структуры, чтобы узнать это. Даже если бы умнейшие физики были бы в 1000 раз умнее, чем сейчас, без коллайдера они бы ничего нового не узнали.

Нет сомнений в том, что СИИ может ускорить прогресс науки. Мы можем делать компьютерные симуляции атомов или клеток и ускорять их во много раз, но две проблемы ограничивают полезность симуляций. Первая – симуляции и модели могут идти быстрее изучаемых процессов только потому, что мы что-то не учитываем. Это суть модели или симуляции. Кроме того, тестирование, проверки и доказательства этих моделей тоже отнимает время и ему необходимо идти со скоростью моделируемых процессов. Проверку истины ускорить нельзя.

Эти упрощённые версии полезны для того, чтобы отфильтровывать наиболее многообещающие пути, и ускорить прогресс. Но в реальности нет чрезмерности; всё, что реально, в какой-то степени оказывает своё влияние; это одно из определений реальности. Если начинать накачивать модели и симуляции всё большим количеством данных, вскоре становится ясно, что реальность работает быстрее, чем её 100% симуляция. Это ещё одно определение реальности: быстрейшая возможная версия всех присутствующих подробностей и степеней свободы. Если вы сможете смоделировать все молекулы в клетки и все клетки в теле человека, то симуляция будет работать не так быстро, как человеческое тело. Неважно, сколько вы будете думать об этом, вам понадобится время для экспериментов, будь то реальная система или симуляция.

Чтобы быть полезным, ИИ необходимо внедриться в реальный мир, и мир будет задавать скорость его инноваций. Без проведения экспериментов, постройки прототипов, ошибок и экспериментов с реальностью, интеллект может думать, но не давать результаты. Никаких мгновенных открытий в минуту, час, день или год появления т.н. «сверхчеловеческого ИИ» не предвидится. Конечно, успехи в разработке ИИ значительно увеличат количество открытий в единицу времени, в частности, поскольку непохожий на людей ИИ будет задавать такие вопросы, которые не задал бы человек, но даже чрезвычайно мощный, по сравнению с нами, интеллект, не гарантирует мгновенного прогресса. Для решения задач необходимо гораздо больше, чем просто интеллект.

Интеллект в одиночку не сможет решить не только проблемы рака и долгожительства, но и проблемы самого интеллекта. Типичная мантра сторонников сингулярности – как только вы сделаете ИИ, который будет «умнее человека», он внезапно как следует подумает и изобретёт ИИ, «умнее чем он сам», который, в свою очередь, подумает ещё более как следует, и изобретёт ещё более умный ИИ, и в результате всё завершится взрывом интеллектуальной мощности на почти божественном уровне. У нас нет доказательств того, что простого размышления по поводу интеллекта достаточно для создания новых уровней интеллекта. Такой размышлизм – это вера. У нас есть множество доказательств того, что кроме большого количества знаний нам нужны эксперименты, данные, пробы и ошибки, необычно поставленные вопросы и всякое другое за пределами простой хитроумности, чтобы изобрести новые виды успешно действующих разумов.

В заключение скажу, что я могу ошибаться со своими заявлениями. Мы находимся на ранних этапах. Мы можем открыть универсальную метрику для интеллекта; открыть его бесконечность во всех направлениях. Поскольку мы очень мало знаем по поводу того, что такое интеллект (не говоря уже о сознании), вероятность какой-то ИИ-сингулярности превышает нулевую. Мне кажется, что все доказательства говорят в пользу малой вероятности такого сценария, но эта вероятность ненулевая.

Так что, хотя я не согласен с его вероятностью, я согласен с более широкими целями OpenAI и умными людьми, беспокоящимися по поводу СИИ – с тем, что мы должны создавать дружественные ИИ и думать над тем, как внушить им ценности, совпадающие с нашими. И хотя я думаю, что СИИ – это очень далёкая экзистенциальная угроза (которую стоит рассмотреть), я думаю, что её небольшая вероятность (на основе имеющихся доказательств) не должна управлять нашей наукой, политикой и развитием. Столкновение астероида с Землёй было бы катастрофой. Его вероятность больше нуля (так что мы должны поддержать фонд B612), но мы не должны давать возможности астероидного удара управлять нашими решениями, допустим, в сфере изменения климата, или космических путешествий или даже в городском планировании.

Точно так же доказательства пока говорят о том, что ИИ скорее всего окажутся не сверхчеловеческими, а экстречеловеческими, это будут сотни новых видов размышления, отличающихся от человеческого, ни один из которых не окажется ИИ общего назначения, и ни один из них не станет богом, мгновенно решающим все наши проблемы. Вместо этого у нас будет галактика ограниченных интеллектов, работающих в незнакомых измерениях, выходящих за пределы наших возможностей по многим из них, работающих вместе с нами, чтобы со временем решить существующие проблемы и создать новые.

Я понимаю очарование и притягательность СИИ-бога. Это что-то вроде Супермэна. Но, как и Супермэн, это мифическая фигура. Где-то во Вселенной может существовать Супермэн, но вероятность его существования крайне мала. Но мифы могут быть полезными, и не исчезать после их изобретения. Идея о Супермэне не умрёт. Идея о сверхчеловеческой ИИ-сингулярности, раз уж её породили, тоже не умрёт. Но мы должны понимать, что сейчас это религиозная, а не научная идея. Если мы изучим имеющиеся у нас на сегодня данные по поводу интеллекта, искусственного и естественного, мы сможем заключить лишь, что наши рассуждения по поводу мифического СИИ-бога – это всего лишь мифы.

Многие изолированные острова Микронезии впервые соприкоснулись с остальным миром во время Второй Мировой войны. Боги-пришельцы летали в их небе в шумных птицах, сбрасывали еду и товары на их острова, и не возвращались. На островах появились религиозные культы, молящиеся за то, чтобы боги вернулись и сбросили ещё грузов. Даже сейчас, пятьдесят лет спустя, многие всё ещё ждут возвращения грузов. Возможно, что СИИ может оказаться ещё одним культом карго. Через сто лет люди смогут оглянуться назад, на наше время, на тот момент, когда верующие начали ждать появления СИИ, который принесёт им невообразимые блага. Десятилетие за десятилетием они ждут прихода СИИ, уверенные в том, что он со своими благами должен появиться уже очень скоро.

Но несверхчеловеческий ИИ уже реально здесь. Мы постоянно переопределяем этот термин, увеличиваем его сложность, и в результате удерживаем его в будущем, но в широком смысле определения чужих интеллектов – в непрерывном спектре различных умов, интеллектов, мышлений, логик, обучений и сознаний – ИИ уже существует на планете, и продолжает распространяться, углубляться, диверсифицироваться и усиливаться. Никакое предыдущее изобретение не сравниться с его властью над миром, и к концу столетия ИИ соприкоснётся и изменит все аспекты нашей жизни. Но миф о сверхчеловеческом искусственном интеллекте, готовый одарить нас сверхизобилием или загнать нас в сверхрабство (или и то, и другое одновременно), по-видимому, будет продолжать жить – эта возможность слишком мифична, чтобы её отвергнуть.