Время от времени нам предлагают отложить реакцию на проблемы, связанные с искусственным интеллектом общего назначения (ИИОН), поскольку, как считается, мы ещё слишком далеко от его появления, и сейчас просто невозможно сделать с этим что-либо продуктивное.

Зачем нужна пожарная тревога?

Можно было бы решить, что пожарная тревога должна давать вам важное доказательство наличия пожара, что позволяет вам изменить свои планы и покинуть здание.

В классическом эксперименте, проведённом Латейном и Дарли [Latane and Darley] в 1968 году, восемь групп по три студента попросили заполнить анкету, усадив в комнате, которая вскоре после начала эксперимента начала заполняться дымом. Пять из восьми групп не отреагировали и не пожаловались на дым, даже когда он стал таким плотным, что они начали кашлять. Последующие действия показали, что одиночный студент жаловался на дым в 75% случаев. А студент в обществе двух других людей, которых попросили ничего не предпринимать, реагировал на дым только в 19% случаев. Этот и другие эксперименты показали, что на самом деле происходит плюралистическое игнорирование. Мы не хотим показаться паникёрами и испугаться чрезвычайной ситуации, поэтому мы стараемся выглядеть спокойными, краем глаза наблюдая за тем, как ведут себя другие – но они, конечно же, тоже стараются выглядеть спокойными.

Я читал большое количество отчётов о воспроизведении этого эксперимента и его вариациях, и полученные результаты оказались вопиющими. Мне кажется, что этому результату не суждено погибнуть в кризисе воспроизведения, и я о проблемах с его воспроизведением не слышал.

Пожарная тревога создаёт общеизвестное знание о наличии пожара; после этого уже социально приемлемо будет реагировать на происходящее. Когда срабатывает сигнализация, вы знаете, что все остальные тоже знают о том, что пожар есть, и вы знаете, что не опозоритесь, если проследуете на выход.

Пожарная тревога не сообщает нам о том, что пожар определённо есть. Я вообще не могу вспомнить ни одного случая из моей жизни, когда я покинул здание из-за пожарной тревоги, и там реально был пожар. На самом деле пожарная тревога больше говорит не о наличии пожара, а о наличии дыма, идущего из-под двери.

Но пожарная тревога сообщает, что теперь с социальной точки зрения приемлемо реагировать на пожар. Она обещает, что нас никто не застыдит за то, что мы спокойно направились к выходу из здания.

Мне кажется, что это один из тех случаев, когда люди не очень понимают, во что именно они верят, как в том случае, когда кто-нибудь громко утверждает о победе команды своего города на соревновании, но сразу же утихнет, если предложить ему поставить деньги на победу. Они не разделяют сознательно приятное возбуждающее ощущение от криков о победе и чувство реального ожидания выигрыша команды.

Я думаю, что когда люди смотрят на появляющийся из-под двери дым, они считают, что их неуверенность по поводу наличия пожара возникает из-за того, что они не назначают этому событию достаточно высокую вероятность, и что они колеблются из-за того, что боятся потратить время и усилия. Но в таком случае они неправильно интерпретируют свои ощущения. В таком случае они испытывали бы те же самые колебания при звуках пожарной тревоги, или даже ещё колебались бы ещё больше – ведь пожарная тревога коррелирует не с пожаром, а с дымом из-под двери. На самом деле колебания возникают из-за волнений по поводу того, что другие люди думают по-другому, а не из-за того, что пожара может и не быть. Нежелание действовать растёт из нежелания показаться дураком, а не из нежелания тратить силы. Поэтому один студент в комнате в 75% случаев предпринимает какие-то действия, и поэтому у людей нет проблем с реагированием на более слабые доказательства, предоставленные пожарной тревогой.

Время от времени нам предлагают отложить реакцию на проблемы, связанные с искусственным интеллектом общего назначения (ИИОН), поскольку, как считается, мы ещё слишком далеко от его появления, и сейчас просто невозможно сделать с этим что-либо продуктивное.

Некоторые люди всё же считают, что и сегодня есть конкретные вещи, которые мы уже можем сделать: Soares and Fallenstein (2014/2017); Amodei, Olah, Steinhardt, Christiano, Schulman, and Mané (2016); or Taylor, Yudkowsky, LaVictoire, and Critch (2016).)

Даже если бы этих работ не существовало, или если вы, как исследователь ИИ, прочли их, и решили, что это ерунда, и вы хотели бы работать над этой проблемой, но не знали бы, как – то следующим мудрым шагом с вашей стороны было бы сесть и потратить пару часов, искренне пытаясь придумать возможные варианты решения. Желательно без самосаботажа, мыслей о том, что вы всё равно ничего не придумаете – в принципе, гораздо удобнее решить, что вы ничего не сможете сделать, потому что у вас есть вещи, которыми вам интереснее заниматься. Ну да ладно.

Так что если идея ИИОН кажется слишком далёкой, и вы думаете, что это даёт вам право считать, что ничего продуктивного по поводу упорядочивания его работы вы всё равно сделать не сможете, то из этого вытекает следующая альтернативная стратегия: сидеть и ждать, когда в будущем какое-то неизвестное пока событие сообщит нам о том, что ИИОН приближается, и тогда мы уже поймём, что можно начинать работать над упорядочиванием ИИОН.

Мне кажется, что это неправильный подход по множеству причин. И вот некоторые из них.

Первая. Как сказал Стюарт Рассел, если вы получили радиосигналы из космоса, заметили в телескоп космический корабль и знаете, что инопланетяне приземлятся через тридцать лет, вы всё равно начнёте думать об этом уже сегодня.

Вы не будете говорить: «Да ладно, это же будет через тридцать лет, и пусть его». Вы уж точно не будете говорить: «Мы ничего не сможем сделать, пока они не подлетят поближе». Вы обязательно проведёте пару часов, или хотя бы пять минут, за мозговым штурмом идей, думая о том, можете ли вы уже сейчас что-нибудь сделать.

Если вы скажете, что инопланетяне прилетят только через тридцать лет, и поэтому сегодня вам делать нечего… В более эффективные времена кто-нибудь попросил бы вас предоставить график действий – когда и что нужно делать, и задолго до прибытия. А если у вас не оказалось бы такого графика, то спрашивающий понял бы, что вы не действуете согласно рабочей таблице своевременных откликов, а просто прокрастинируете. Из этого он сделал бы правильный вывод о том, что вы, вероятно, недостаточно хорошо подумали о том, что вы можете сделать уже сегодня.

Пользуясь выражениями Брайана Кэплана , каждый, кто спокойно считает, что «сейчас для подготовки ничего нельзя сделать», настроен неправильно; их должно гораздо больше волновать то, что они не могут придумать ни одного способа как-то подготовиться. Или, может быть, спросить кого-то ещё, нет ли у него идей по этому поводу? Ну да ладно.

Вторая. История показывает, что простые люди, и даже учёные, не входящие в ключевую группу передовых исследователей, и даже учёные, туда входящие, часто считают, что ключевые технологические открытия не произойдут ещё много десятилетий спустя, хотя реально до них остаётся лет пять.

В 1901 году, за два года до того, как он поучаствовал в создании первого летательного аппарата тяжелее воздуха, Уилбур Райт сказал своему брату, что до активных полётов пройдёт ещё лет пятьдесят.

В 1939 году, за три года до того, как он лично наблюдал за первой цепной ядерной реакцией в кучке урановых блоков, Энрико Ферми высказал 90% уверенность в том, что уран невозможно использовать для поддержания цепной реакции расщепления. Мне кажется, что и через год после этого, то есть, за два года до развязки, Ферми также сказал, что если получение энергии распада и возможно, то до него должно пройти ещё пятьдесят лет.

Ну а уж если вы не братья Райт и не Энрико Ферми, то вы будете удивлены ещё больше. Большая часть мира узнала о том, что атомное оружие уже есть и работает, только после прочтения заголовков о Хиросиме. Спустя четыре года после полёта флайера братьев Райт ещё находились уважаемые интеллектуалы, утверждавшие, что полёты аппаратов тяжелее воздуха невозможны, поскольку тогда знания распространялись медленнее .

Можем ли мы сказать сегодня, задним числом, что тогда были какие-то события, знаменовавшие приближение полётов тяжелее воздуха или ядерной энергии? Конечно, но если вернуться в прошлое, почитать газеты того времени, и узнать, что люди говорили об этом тогда, станет ясно, что они не знали, что эти события были какими-то знаковыми, или же они очень сильно сомневались по поводу их значимости. Иные, думаю, играли роль восторженных футуристов и провозглашали неминуемое наступление больших перемен, а другие – роль скептических учёных, пытавшихся загасить детский энтузиазм. И если бы среди всей этой шумихи нашёлся бы предсказатель, сказавший «десятилетия» когда на это действительно ушли десятилетия, и «5 лет», когда на это действительно потребовалось пять лет – что ж, удачных вам поисков в этом шуме. Скорее всего, эти предсказатели говорили «может завтра, а может и через десятки лет» в обоих случаях – когда большие перемены наступали завтра, и когда они наступали через десятки лет.

Одна из основных причин того, что мы сильны задним умом и считаем, что прошлое было более предсказуемо, чем кто-то мог в своё время реально предсказать, заключается в том, что задним числом мы знаем, что именно нам нужно заметить, и фокусируемся только на одной мысли, связанной с тем, что именно означает каждое из имевшихся свидетельств. Но если посмотреть на то, что в то время говорили люди, то станет видно, что они даже не знают, что произойдёт через три месяца, поскольку им неизвестно, какие именно события являлись знаковыми.

Вы можете сказать, что «до ИИОН осталось 50 лет», и это может оказаться правдой. Точно так же люди говорили, что активный полёт произойдёт не раньше, чем через несколько десятилетий, и он произошёл через несколько десятилетий. Проблема в том, все свидетельства выглядят для вас одинаково, если вы реально живёте в этой истории, а не читаете о ней впоследствии.

Это не значит, что всегда, когда кто-либо говорит «через пятьдесят лет», это событие происходит через пару лет. Это значит, что уверенное предсказание об отдалённом наступлении события соответствует знаниям по поводу технологии, которые не меняются, пока вы не подберётесь к передовому краю разработки очень близко. Это сродни «Я не знаю, как это сделать», и иногда вы говорите, что событие произойдёт через пятьдесят лет, а иногда – что через пару лет, а иногда вы говорите это, в то время как флайер братьев Райт летит где-то там, где вам его не видно.

Третья. Прогресс двигают передовые знания, а не средние.

Если Ферми и Райт не могли предвидеть событий за три года, представьте, как тяжело это было сделать всем остальным.

Если вы не находитесь на переднем крае знаний по осуществлению какого-то достижения, и вас вводят в курс дела по поводу того, чему суждено стать лидирующим проектом, вы не сможете на основании имеющихся у вас знаний предсказать необратимый прорыв. Если только вы не способны гениально видеть перспективу неким образом, который не был нужен охотникам и собирателям, и не умеете очень хорошо понимать то, что в распоряжении других людей могут оказаться такие технологии и идеи, о которых вы не имеете представления. Если вы осознанно не компенсируете свои представления, учитывая уроки истории, тогда вы явно склонитесь к тому, что до этого события должны пройти десятилетия. За три месяца до постройки первой чикагской поленницы Ферми уже не считал, что получение ядерной энергии было невозможным или до него нужно было ждать десятилетия – он уже был в курсе всего и видел, как это можно сделать. Но любой человек, не бывший в курсе событий, вероятно считал, что до этого события оставалось ещё пятьдесят лет, в тот момент, когда поленница уже шипела себе на корте для сквоша в Чикагском университете.

Люди не учитывают автоматически тот факт, что момент наступления большого прорыва зависит от передовых знаний в этой области. В этот диапазон попадают люди, знающие больше всех остальных и обладающие наилучшими идеями; так что знания всех остальных людей остаются средними, а средних знаний недостаточно для того, чтобы понять, когда может произойти прорыв. Я думаю, что они об этом вообще не размышляют, и просто делают оценку исходя из собственного ощущения сложности проекта. А если они думают как-то более ответственно, проделывают реальную работу по корректировке своих предубеждений – то таких рассуждений я нигде ещё не встречал.

Чтобы знать, что до появления ИИОН остаются ещё десятки лет, нам нужно достаточно хорошо понимать ИИОН, чтобы знать, каких частей головоломки нам ещё недостаёт, и насколько сложно их получить; такого знания у нас, вероятно, не будет до тех пор, пока головоломка не сложится. Также это означает, что для людей, находящихся за пределами передового круга, головоломка будет казаться менее завершённой, чем она выглядит в этом кругу.

Опять-таки, это не означает, что то, что люди говорят «пятьдесят лет», является определённым признаком того, что что-то прямо сейчас происходит на корте для сквоша. Они говорили про «пятьдесят лет» и шестьдесят лет назад. Это означает, что все, кто считают, что технологические события реально могут предсказать заранее люди, не посвящённые в отчёты о прогрессе лидирующих проектов, и не разделяющие лучшие идеи по поводу того, как можно достичь цели и сколько для этого потребуется усилий, не усваивают уроки истории. Ошибочным представлениям способствуют исторические книги, аккуратно раскладывающие путь прогресса и все те видимые признаки достижений, важность которых мы понимаем только теперь. Иногда возможно предугадать последствия большого прорыва сразу после того, как он произошёл, но очень редко получается сделать точное предсказание о времени наступления такого прорыва на периодах больших, чем один-два года. А если вы один из тех редких людей, что могут предсказывать такие события, если такие люди вообще существуют, то никто не знает, что нужно слушать именно вас, а не восторженных футуристов или скептических учёных.

Четвёртая. В будущем появятся другие инструменты, с помощью которых можно будет легко делать вещи, трудновыполнимые сегодня, или же можно будет с трудом делать вещи, сегодня невозможные.

Откуда мы знаем, что ИИОН появится только через несколько десятилетий? В популярных статьях за авторством руководителей исследовательских лабораторий обычно даётся три основных причины:

А) Автор не знает, как создать ИИОН при помощи современной технологии. Автор не знает, с чего начать.

Б) Автор считает, что делать впечатляющие вещи, доступные современному ИИ, ужасно трудно, ему приходилось очень долго корпеть над фермой из GPU, подстраивая все гиперпараметры. Он считает, что люди недооценивают, насколько сложно достичь таких показателей сегодня, и преждевременно паникуют, поскольку считает, что любой человек может просто запустить Tensorflow и сделать робомобиль.

В) Автор проводит много времени, взаимодействуя с ИИ-системами, в связи с чем лично способен оценить, насколько они тупые и как им не хватает здравого смысла.

Мы уже рассмотрели некоторые аспекты аргумента А. Перейдём к аргументу Б.

Допустим, я скажу: «Сейчас один студент, прослушавший курс информатики, способен за неделю сделать всё, что N+ лет назад всё исследовательское сообщество могло сделать при помощи нейросетей». Насколько велико число N?

На этот вопрос мне в твиттере дали ответ несколько людей с неизвестными мне достижениями, но самым популярным ответом было пять – и мне он кажется правильным на основании моего собственного знакомства с машинным обучением. Конечно, это число не может быть универсальным, поскольку реальность никогда не бывает такой простой. Если вы могли что-то сделать в 2012 году, то сегодня вы можете довольно просто сделать это при помощи современных GPU, Tensorflow, инициализации Ксавьера, пакетной нормализации, усеченного линейного преобразования, оценки адаптивного момента (Adam), RMSprop или просто стохастическим градиентным спуском с инерцией. Настолько современные технологии стали лучше. Конечно, существуют вещи, недоступные нам сегодня при помощи этих простых методов, они требуют уйму работы – но эти вещи в 2012 году вообще были невозможны.

В машинном обучении всё устроено так, что если вы в принципе можете что-то сделать, то всего через несколько лет вы сможете сделать это очень легко, при помощи улучшенных будущих инструментов. С этой точки зрения аргумент Б «вы не понимаете, насколько сложно делать то, чем мы занимаемся», просто нелогичен.

Утверждение Б звучит похоже на высказывание Резерфорда в 1933 году, когда он назвал получение энергии из расщепления атомов «несбыточной мечтой». Если вы были ядерным физиком в 1933 году, вам нужно было расщеплять атомы вручную, бомбардируя их другими частицами, и это была утомительная работа. Если бы кто-нибудь заговорил о получении энергии из атомов, вы могли бы почувствовать, что вас недооценивают, что люди считают вашу работу простой.

Но, конечно, это ощущение всегда будет присутствовать у инженеров, занимающихся ИИ на серьёзных передовых проектах. Вам не будут платить большие деньги за то, что студент сможет сделать за неделю (если только вы не работаете в бюрократической организации, не знающей о том, что такое ИИ; но это не Google и не FB). Ваш личный опыт всегда будет говорить о том, что вам платят за месяцы тяжёлой работы. Поэтому изменение этого опыта вы не сможете использовать в качестве пожарной тревоги.

Люди, играющие роль скептических учёных, согласятся, что теоретически наши инструменты будут совершенствоваться; но в популярных статьях они пишут только о сложностях работы с инструментами сегодняшнего дня. Я думаю, что в таком режиме мышления они даже не пытаются предсказать, какие инструменты будут доступны им через пять лет; в прочитанных мною статьях таких высказываний я не встречал. Я думаю, что когда они говорят вам, что ИИОН появится спустя несколько десятилетий, они дают оценку того, как много времени с их точки зрения потребуется на то, чтобы создать ИИОН при помощи сегодняшних инструментов и знаний. Поэтому они и упирают на то, как сложно рыться в куче линейной алгебры до тех пор, пока она не выплюнет хорошие ответы; мне кажется, они совсем не представляют, как сильно это времяпрепровождение может измениться за срок, гораздо меньший, чем пятьдесят лет. Если они и задумались всерьёз над тем, как искажаются их оценки будущих технологий на основе текущего субъективного чувства сложности, и попробовали компенсировать это искажение, то я таких рассуждений нигде не встречал. И не слышал, чтобы такой метод предсказаний когда-нибудь в истории давал хорошие результаты.

Пятая. Ладно, будем предельно откровенны. Не думаю, что большая часть рассуждений о том, как долго ещё ждать до ИИОН (или о том, как он близко) появляется из-за использования моделирования будущего прогресса в машинном обучении. Я не думаю, что дело в плохих моделях; я думаю, что дело в отсутствии таких моделей.

Я как-то был на конференции, на которой выступало полно знаменитых светил в области ИИ, и большая часть светил кивала головой и соглашалась друг с другом в том плане, что до ИИОН ещё очень далеко – за исключением двух известных ИИ-светил, сидевших тихо и дававших говорить другим.

Во время опросной части я поднялся и сказал: «Хорошо, вы сказали нам, что прогресс не будет таким быстрым. Но давайте будем более конкретными. Я хочу знать о наименее впечатляющем достижении, по поводу которого вы уверены, что его нельзя будет совершить в ближайшие два года».

Наступила тишина.

В результате из выступавших рискнули дать ответы два человека, и говорили они гораздо более осторожным тоном по сравнению с тем, когда рассказывали, как долго ещё нам ждать ИИОН. Они назвали такие задачи, как «Робот достаёт посуду из посудомоечной машины и не разбивает её» и схемы Винограда. Точнее было сказано, что «я вполне уверен, что по схемам Винограда – результаты по работе с которыми в последнее время находятся на уровне 50–60% — мы в ближайшие два года не получим результатов, приближающихся к 80–90%, вне зависимости от используемых людьми инструментов».

Через несколько месяцев после конференции произошёл неожиданный прорыв по схемам Виногорада. Прорыв не достиг 80%, «ура» доверительным интервалам с определённой погрешностью, но мне кажется, что предсказатель сейчас, когда до конца отведённого срока остался только год, нервничал бы гораздо больше. Я не помню, чтобы я читал об этом прорыве, но мне продемонстрировали научную работу, которую учёные могли бы отправить всего через 44 дня после той конференции, и в которой были показаны результаты в 70%.

Но суть не в этом. Суть в том, что наступившее после моего вопроса молчание, и то, что я получил всего два ответа, весьма неуверенно озвученных. Когда я спросил о конкретных вещах, которые невозможно сделать в ближайшие два года, именно тогда, как мне кажется, светила переключились в режим построения модели будущего прогресса в машинном обучении, задаваясь вопросом о том, что они могут или не могут предсказать, что они знают или не знают. И, к их чести, большая часть из них достаточно хорошо разбиралась в своей области, чтобы понять, что предсказывать будущие границы возможностей в быстро развивающейся области на самом деле весьма сложно, что никто не знает, что появится в научном журнале arXiv в следующем месяце, и что им нужно выдавать очень широкие доверительные интервалы с очень щедрой верхней границей касательно того, куда может зайти прогресс, измеряемый в работах с arXiv, за двадцать четыре месяца.

Кроме того, на конференции был и Демис Хассабис , поэтому они знали, что если они назовут что-нибудь недостаточно невозможное, Демис сделает так, чтобы DeepMind занялась этой задачей и решила её.

Стиль моего вопроса сильно отличался от разговоров на конференции, и требовал переключения умственного контекста: собравшимся там светилам пришлось запрашивать свои грубые, едва оформившиеся интуитивные модели прогресса в машинном обучении, и решить, какие именно достижения, если таковые вообще есть, их модель развития области однозначно отметает в двухлетний срок. Вместо, скажем так, социально приемлемых словесных излияний, призванных приглушить всю эту чёртову шумиху, связанную с ИИОН и заслужить предсказуемые аплодисменты аудитории.

Скажу прямо: не думаю, что уверенные заявления по поводу долгосрочных прогнозов вообще хорошо продумывают. Если у вашей модели есть невероятная возможность предсказать, чего нельзя будет сделать в ближайшие десять лет, спустя сто двадцать месяцев потока работ с arXiv, тогда вы точно должны уметь выдавать более слабые предсказания по поводу того, что невозможно будет сделать в ближайшие два года. В своей голове вы должны уметь выстраивать эти предсказания в очередь и пребывать в постоянной готовности их высказать, вместо того, чтобы погружаться в нервное молчание после того, как вас о них спросили.

На самом деле проблема двухлетнего предсказания весьма сложна, а проблема десятилетнего предсказания смехотворно сложна. Будущее вообще сложно предсказывать, наши предсказательные способности в быстро меняющейся и развивающейся области довольно слабы, и не дают нам возможности предсказывать чёткие интервалы, на которых чего-то точно нельзя сделать.

Грейс с коллегами в 2017 году оценили предсказания 352 людей, выступавших на ICML [Международная конференция по машинному обучению] и NIPS 2015 [конференция по системам обработки нервной информации]. В целом предсказания докладчиков сводились к тому, что заявление «все профессии можно полностью автоматизировать» (в том смысле, что «для любой профессии можно построить машину, которая будет выполнять эту работу лучше и дешевле человека») не достигнет 50% вероятности за 121 год. Только вот докладчикам из случайной выборки задали немного другой вопрос: «когда самостоятельно работающие машины смогут выполнять любую задачу лучше и дешевле, чем люди-работники», и в этом случае они сказали, что это с 50% вероятностью станет возможным уже через 44 года.

Вот, что бывает, когда вы просите людей дать оценку, которую они дать не могут, и вот какими должны быть социально приемлемые высказывания.

Говоря о том, что для ИИОН нет пожарной тревоги, я не утверждаю, что не существует эквивалента появляющегося из-под двери дыма.

Я на самом деле говорю, что дым из-под двери всегда будет спорным; он не будет чётким, неопровержимым, абсолютно точным индикатором огня; поэтому пожарная тревога, обеспечивающая всеобщее знание о том, что ваши действия с этого момента становятся разумными и социально приемлемыми, не сработает никогда.

Есть такой старый троп – как только что-нибудь становится возможным, это сразу перестают называть ИИ. Люди, работающие в области ИИ, относятся к акселерационистам и техноэнтузиастам, их можно назвать членами курцвейловского лагеря (я себя к ним не отношу), и часто сетуют на то, что это некорректные суждения, отодвигающиеся цели.

Такая точка зрения не учитывает реальное и важное явление предвзятого отношения к достижениям ИИ: если вы можете сделать что-то впечатляюще выглядящее с ИИ в 1974 году, то это потому, что оказалось возможным как-то дёшево схитрить, а не потому, что в 1974 году достижения в области ИИ были такими потрясающими. Мы не знаем, сколько когнитивных затрат необходимо для выполнения задач, и насколько легко схитрить при их выполнении, поэтому первыми среди «впечатляющих» задач выполняются те, по поводу сложности которых мы ошибались сильнее всего. Было время, когда люди считали, что для выигрыша компьютера у чемпиона мира по шахматам потребуется прогресс в области ИИОН, и что такой выигрыш будет явным знаком продвижения по пути этого прогресса. Когда в 1997 году Deep Blue выиграла у Каспарова, в байесовском смысле мы узнали что-то по поводу прогресса ИИ, но также и узнали что-то по поводу лёгкости шахмат. Учитывая технологии, применявшиеся для создания Deep Blue, в основном мы узнали только, что «удивительно легко играть в шахматы без использования обобщённых технологий», а не то, что «мы продвинулись удивительно далеко по пути к ИИОН».

Была ли AlphaGo дымом из-под двери, признаком того, что ИИОН появится в течение 10 лет? Раньше люди приводили го в качестве примера того, что станет «началом конца».

Я изучил научную работу, описывающую архитектуру AlphaGo, и из неё следует, что, скорее, доступные нам ИИ-технологии гораздо ближе ожидаемого подошли к обобщённому ИИ, чем выигрыш в го оказался удивительно простой и прямолинейной задачей. Конечно, этот метод нельзя просто масштабировать до ИИОН, но AlphaGo выглядит как результат довольно обобщённых идей и технологий, которые приспособили к особому случаю игры в го – не так, как это было с Deep Blue. Я также приблизился к мысли о том, что «обобщённые возможности обучения алгоритма работы человеческого мозга оказались не такими впечатляющими и их не так тяжело эмулировать при помощи градиентного спуска и вагона GPU, как я думал», поскольку если где и используется впечатляющий алгоритм работы мозга, обладающий обобщёнными возможностями обучения и одновременно прошедший естественный отбор, так это у людей, играющих в го.

Возможно, если бы у нас была тысяча планет Земля со схожей историей, мы собрали бы статистику и обнаружили, что компьютер, выигравший всепланетный чемпионат по го, служит уверенным признаком появления ИИОН через десять лет. Но мне это неизвестно. Как и вам. Конечно, сейчас тоже можно заявить, что мы просто выяснили, что в игру го оказалось проще играть при помощи прямолинейных техник, чем мы думали – как это уже часто оказывалось в прошлом. Не существует никакого признака появления реального ИИОН, никакого дыма из-под двери, который сообщил бы нам, что у нас реально пожар, и что до ИИОН осталось 10, 5 или 2 года. Не говоря уже о том, что нет знака, по которому мы бы точно знали о том, что в него поверят все остальные.

В любом случае, многие лидирующие учёные в области машинного обучения уже написали кучу статей, где перечислили свои критерии пожарной тревоги. Они поверят в неминуемость появления ИИОН, когда:

А) Они лично поймут, как создать ИИОН на основе имеющихся инструментов. Они всегда утверждают, что сейчас это не так, чтобы приструнить глупцов, считающих, что до ИИОН осталось недолго.

Б) Когда их личная работа перестанет казаться им слишком сложной. Это, с их точки зрения, и не понимают всякие плебеи, считающие, что ИИОН приближается, ибо им никогда не приходилось не спать до двух часов ночи, пытаясь стабилизировать генеративно-состязательную сеть.

В) Когда они увидят пример ИИ, который покажется им настолько умным по сравнению с человеком, что для них это будет сродни волшебству; но надо учесть, что им известно, как создать у ИИ определённые свойства, и это им уже не кажется волшебством; то есть, им нужен ИИ, который кажется умным при общении с людьми; то есть, им, по сути, уже нужен готовый ИИОН.

Так что никакой пожарной тревоги не будет. Точка.

Никогда не будет такого момента перед концом, когда вы сможете нервно оглянуться вокруг и понять, что вы уже можете говорить о неизбежности ИИОН в рамках общего знания об этом, принимать меры, покидать здание без паники и соблюдая порядок, так, чтобы не бояться выглядеть глупым или трусливым.

Насколько я могу оценивать ситуацию, теперь, когда у нас уже есть AlphaGo и парочка других предупредительных выстрелов, и взрыв усилий, вкладываемых в машинное обучение, и огромный поток научных работ, мы, скорее всего, останемся в нашем эпистемологическом состоянии до самого конца.

Говоря, что мы будем оставаться в текущем состоянии почти до самого конца, я не имею в виду, что мы знаем о неизбежности ИИОН, или что в это время не случится новых, важных прорывов в области ИИ. Я имею в виду, что очень сложно догадаться, сколько ещё новых идей потребуется для создания ИИОН, или сколько времени у нас уйдёт на появление таких идей. После следующего прорыва мы всё равно не будем знать, сколько нам понадобится ещё прорывов, из-за чего мы и будем дальше пребывать в таком состоянии, как раньше. Какие бы открытия и достижения не появлялись далее, всё равно будет очень сложно догадаться, сколько ещё нам нужно будет идей, и временные оценки будут оставаться такими же мутными. Возможно, энтузиазм и финансирование исследований будут только расти, и мы сможем говорить об укорачивании временных оценок; или мы уткнёмся в очередную «зиму ИИ», и это будет говорить об удлинении предыдущих оценок; но сколько нам потребуется времени, мы знать не будем.

В какой-то момент мы можем увидеть внезапный наплыв работ из arXiv, в которых со всё увеличивающейся скоростью будут решаться очень интересные, фундаментальные, пугающие когнитивные задачи. Вследствие чего с усилением этого потока даже мнящие себя скептичными люди разнервничаются настолько, что скажут, что до ИИОН, возможно, осталось уже 15 лет, вероятно, скорее всего. А ближе к концу знаки могут стать настолько явными, что люди решат, что уже социально приемлемо говорить о том, что ИИОН, возможно, появится уже через 10 лет. Хотя этим знакам придётся быть чертовски явными, чтобы преодолеть социальный барьер, наведённый светилами, оценивающими сроки прихода ИИОН через свои личные знания и сложности, а также исторические неприятные ощущения зим ИИ, произошедших по вине сопутствующей шумихи.

Но даже если станет социально приемлемым говорить о том, что ИИОН появится через 15 лет, в эти последние пару лет или месяцев, я думаю, что несогласные всё равно будут. Будут спорщики, которые, несмотря на решение проблем с ассоциативной памятью и эмуляцией мозжечковой координации (или чего-нибудь ещё) всё равно не будут знать, как создать ИИОН. Они отметят, что не существует ИИ, пишущих научные работы по информатике, или ведущих осмысленный разговор с человеком, и обвинять в паникёрстве тех, кто рассуждает так, будто знает, как это провернуть. Они будут объяснять, что глупые людишки не понимают, сколько сложностей и всяких подстроек требуется для того, чтобы текущая система работала (хотя современные им методы уже способны будут легко делать всё, что было возможным в 2017 году, и любой студент будет знать, как замутить стабильную генеративно-состязательную сеть с первого раза при помощи модуля tf.unsupervised module в Tensorflow 5.3.1.).

Когда все кусочки уже будут готовы и расставлены по местам, и не будет хватать одного последнего, доступного на самом передовом крае знаний и творчества всего мира, всё равно среднему человеку будет казаться, что ИИОН – это страшно трудная задача, маячащая где-то далеко, поскольку лично он всё ещё не знает, как построить ИИОН-систему. Престижные директора исследовательских групп ИИ всё ещё будут писать статьи, описывающие глупые волнения по поводу уничтожения жизни на Земле и будущих благ, доступных нам благодаря ИИ, говоря нам, что эта перспектива не должна отвлекать нас от реальных, уважаемых проблем вроде систем одобрения кредитов, научившихся распознавать человеческие когнитивные искажения.

Конечно, будущее очень сложно предсказывать в деталях. Это настолько сложно, что я не только признаюсь в том, что не могу это делать, я даже сделаю более сильное утверждение – этого не может делать никто. События могут развиваться по сценарию «поток прорывных работ на arXiv», но это просто невероятно конкретный сценарий, который я придумал просто для примера. Он не основан на моём обширном опыте наблюдения за землеподобными цивилизациями, разрабатывающими ИИОН. Я оцениваю как крупную вероятность сценария «вне Манхэттенского проекта не было никаких видимых сигналов, пока не случилась Хиросима», поскольку он довольно простой. А всё более сложное скорее всего окажется ещё одной историей с обременительными подробностями, которая будет неверной.

Но вне зависимости от того, какими окажутся детали, я предсказываю, что не будет никакой пожарной тревоги, отличающейся от реально существующего и работающего ИИОН. Никаких предварительных безошибочных сигналов, о которых будут знать и с которыми согласятся все люди, которые позволят людям действовать, не волнуясь о том, что, возможно, они делают это преждевременно. История технологий обычно развивалась совсем не так даже в менее сложных вопросах, типа полётов и ядерной физики, не говоря уже о более сложных случаях, типа нашего, в котором спорят по поводу всех признаков и моделей. Мы уже достаточно знаем по поводу неопределённостей и низкого качества споров по этому вопросу, чтобы уверенно заявить, что никаких социально приемлемых признаков приближения ИИОН не появится ни за 10 лет, ни за 5, ни за 2 года до его появления. А если и будет какая-нибудь всеобщая паника, она произойдёт по совпадению, на основе плохих рассуждений, и не будет совпадать с реальным развитием событий кроме как по случайности, например, из-за голливудского фильма, и она будет концентрироваться на относительно простых опасностях.

Не случайно, что никто не дал никаких чётких определений подобной пожарной тревоги, и не показал убедительно, сколько именно времени нам осталось, и какие именно проекты нам нужно будет начинать после неё. Если кто-нибудь напишет подобное предложение, то следующий за ним напишет что-нибудь совсем другое. И никто из них, скорее всего, не сумеет убедить меня, что им известно будущее и расписание предстоящих событий, или что они определили разумный подход к решению этой задачи, который (а) стоит того, чтобы его в принципе осуществлять и (б) не стоит начинать прямо сейчас.

Мне кажется, что решение отложить все дела до появления какой-то расплывчатой, совершенно неопределённой тревоги в неустановленном будущем подразумевает беспечность, достаточную для того, чтобы начал работать закон постоянных неудач.

Закон постоянных неудач говорит о том, что если ваша страна достаточно некомпетентна для того, чтобы использовать простые девятизначные цифровые пароли для всех банковских счетов и заявок по выдаче кредитов, то ваша страна недостаточно компетентна и для того, чтобы скорректировать направление развития после такого бедствия, в котором база из сотни миллионов паролей попала в открытый доступ. Цивилизация, достаточно компетентная для того, чтобы сменить курс в ответ на такой стимул, отреагировать на него так, как вы хотите, чтобы они отреагировали, достаточно компетентна и для того, чтобы вообще не совершать такой ошибки. Когда происходит всеобъемлющий и очевидный отказ системы вместо подспудных неполадок на самой грани компетентности, следующий стимул не заставит эту систему внезапно переключиться на интеллектуальную работу.

Закон постоянных неудач особенно важно иметь в виду, работая с большими всемогущими системами или людьми с высоким положением, которых вам очень не хочется ругать. Вы можете захотеть сказать что-то вроде: «Ну, сейчас система несовершенна, но как только в будущем появится подходящий стимул, она резко поменяется, станет нормально и всё будет в порядке». Системы, оправдывающие такую надежду, выглядят так, будто они и так уже делают большую часть важных вещей правильно, и им недостаёт пары шагов до сознательной работы. И такая надежда почти никогда не будет оправданной, когда человек, организация, правительство или социальная подсистема лажает по-крупному.

Недальновидность, позволяющая игнорировать приземление инопланетян через тридцать лет, уже достаточно крупная, чтобы остальные провалы не выглядели неожиданными.

И сегодня, когда всё это происходит одновременно, можно предсказать, что эта же система с её стимулами не дадут правильных результатов, получив неопределённый сигнал о том, что, возможно, инопланетяне приземлятся уже через пять лет. Закон постоянных неудач утверждает, что если существующие власти ошибаются, считая, что имеет смысл перевести обсуждение с экзистенциального риска на более реальные, с их точки зрения, проблемы вроде безопасности робомобилей, то следует ожидать, что они и в будущем будут говорить всякую ерунду.

Люди, делающие большое количество ошибок одновременно, не помечают у себя в голове неправильные мысли как «неправильные». Даже при наличии мотивации они не могут внезапно переключиться на правильные рассуждения и предсказание будущих шагов. Да, мы проводили разные эксперименты, демонстрирующие, что денежное поощрение может уменьшить самоуверенность и политические искажения, но а) это уменьшение, а не устранение, б) это работает с прямыми и краткосрочными поощрениями, а не с неопределёнными политическим заявлениями типа «на кон поставлено многое», и в) это не означает, что переключатель поворачивается на всю, вплоть до «проведения сложных и правильных рассуждений». Если у кого-то в мозгу есть переключатель, способный включить сложное и правильное рассуждение, то у него есть достаточно внутренней точности и умений для того, чтобы думать по большей части правильные мысли сегодня, а не когда-то потом – по крайней мере до такой степени, чтобы консервативно оценивать и дважды проверять решения, которые при неправильном подходе могут вас убить.

Нет никаких знаков, знамений, порогов, после которых люди могут внезапно проснуться и начать систематически всё делать правильно. Люди, способные настолько компетентно реагировать на любой знак, не говоря уже о не очень идеальных и довольно спорных свидетельств о наступлении «звоночка», уже наверняка просчитали весь график наступления событий. Они уже представили себе будущие знамения, пошли дальше, и уже поразмыслили над разумными идеями – как говорит Стюарт Рассел, «Если вы знаете, что инопланетяне приземлятся через тридцать лет, это уже сейчас является большой проблемой».

В те дни, когда организация, ныне известная, как Исследовательский институт машинного интеллекта (MIRI), с трудом находила финансирование, я узнал, что люди, пожертвовавшие деньги в прошлом году, скорее всего пожертвуют их и в текущем, а люди, в прошлом году планировавшие пожертвовать деньги " следующем году", и сегодня будут планировать пожертвовать их «в следующем году». Конечно, бывали и переходы из нуля в единицу; всё, что происходит, должно произойти впервые. Бывали студенты из колледжей, говорившие «потом», и ничего не дававшие достаточно долго, а потом устраивавшиеся на хорошую работу и начинавшие делать пожертвования. Но также я узнал, что как многие дешёвые и простые утешение, слово «потом» вырабатывает зависимость, и что эта роскошь присуща как богатым, так и бедным.

Не думаю, что с вопросом регулирования ИИОН что-то будет по-другому. Люди, которые пытаются по возможности справиться с проблемой регулирования, в следующем году уже немного (или сильно) продвинутся на пути решения проблемы, чем в прошлом (конечно, учитывая какие-либо прорывы, произошедшие за это время). Люди, желающие отложить проблему на попозже, когда появится лучшее понимание ИИ и ИИОН, после прогресса в этой области в следующем году захотят отложить эту проблему на будущее, когда появится ещё более хорошее понимание ИИ и ИИОН.

Некоторые люди хотят, чтобы регулирование было, и поэтому пытаются понять, каким образом можно заставить систему, обучающуюся с подкреплением, надёжно определять функцию полезности над определёнными элементами модели каузального окружения. Другим больше нравится работать над другими вещами, поэтому они предпочитают заявить, что сегодня никакой работы сделать невозможно, и не подумать заранее пару часов над тем, что реально можно сделать. И это не изменится завтра, если только завтра мы не увидим какие-нибудь интересные заголовки новостей, и даже тогда это, скорее всего, не изменится. Роскошь говорить «потом» доступна не только при отсутствии хороших вариантов действий.

Спустя какое-то время я начал говорить приверженцам эффективного альтруизма в колледже: «Если вы хотите зарабатывать больше, чтобы отдавать больше, то пока что жертвуйте по $5 раз в три месяца. Но никогда не жертвуйте одно и то же количество или одной и той же организации дважды подряд, чтобы практиковаться в привычке пересматривать цели и пересматривать размер пожертвования. Не прививайте себе привычку всегда говорить „потом“.

Точно так же, если кто-нибудь собирается работать над регулированием ИИОН „позже“, я скажу ему, чтобы он каждые шесть месяцев провёл пару часов над построением наилучшей на текущий момент схемы для регулирования ИИОН и над полезными действиями в этом направлении. Предполагая, если это необходимо, что ИИОН можно сделать при помощи технологий, напоминающих современные. Опубликовывая свою текущую, недостаточно хорошую, схему, хотя бы в Facebook. И пусть им будет стыдно за схему, не выглядящую так, будто над ней действительно кто-то думал два часа в попытках найти наилучший подход.

Что-то связанное с ИИ мы лучше поймём в будущем, и что-то поможет нам получить уверенность в том, что определённые методы исследований непосредственно связаны с созданием ИИОН. В будущем могут произойти социологические события, похожие на публикацию книги Ника Бострома „Сверхинтеллект“, твит Илона Маска по этому поводу, запустивший камень в окно Овертона, или присоединение к этому событию такого более уважаемого светила, как Стюарт Рассел. В будущем произойдёт больше событий, похожих на появление AlphaGo, которые смогут публично осветить новые прорывы в машинном обучении. Может так получиться, что это не оставит нас в том же самом эпистемологическом состоянии, в каком находимся мы, уже увидев AlphaGo и генеративно-состязательную сеть. Это может случиться! Я не вижу, как, но у будущего есть возможность организовывать подобные сюрпризы.

Но прежде чем начинать ожидать такого сюрприза, нужно спросить себя, является ли неопределённость графика появления ИИОН такой уж неопределённой. Если вам кажется, что предположения о 50% вероятности появления ИИОН через N лет недостаточно для того, чтобы действовать – спросите себя, как бы вы чувствовали себя, если бы верили, что вероятность наступления этого события через N лет равняется 50%, и все остальные жители земли тоже верили в 50% через N лет, и все верили, что это допустимо и нужно проводить политику P когда вероятность появления ИИОН через N лет составляет 50%. Если такая мысль вызывает у вас другие ощущения, тогда любая неопределённость, связанная с тем, нужно ли делать P, не связана с тем, придётся ли нам ждать больше, чем N лет, пока появится ИИОН.

И почти наверняка вы так и будете испытывать эту неопределённость, вне зависимости от того, как сильно приблизилось появление ИИОН. Неважно, через какое время появится ИИОН, любые знаки почти наверняка не приведут к появлению общепризнанного общественного знания о том, что у ИИОН есть 50% вероятность появиться через N лет, поэтому и не появится никакого соглашения о том, что вполне допустимо реагировать на это, проводя политику P.

А если всё это станет общественным знанием, тогда P уже вряд ли будет проигнорированным вмешательством, а регулирование ИИ – проигнорированной проблемой; к тому моменту вы уже слишком долго ждали, и будет поздно.

Более вероятно, что никакого общественного знания не будет, поэтому по поводу необходимых действий всегда будет ощущаться некоторая неопределённость.

Вы можете действовать, несмотря на это, и можете не действовать. В лучшем случае вы не будете действовать, пока уже не будет поздно что-то серьёзно менять. В среднем случае вы не будете действовать вообще, пока всё это по факту не произойдёт.

Не думаю, что очень умно ожидать неназванного эпистемического чуда, чтобы оно изменило наши ощущения. Вы, скорее всего, будете находиться в таком состоянии довольно долго – включая сюда и эту нервную неопределённость. Если вы расправляетесь с этим состоянием, говоря „позже“, тогда какой-либо порядок действий вряд ли приведёт к каким-либо хорошим результатам для планеты Земля.