Авторы оригинала: Пол Сэлмон, Джемма Рид, Джейсон Томпсон, Скотт Маклин и Тони Карден. Некоторые эксперты считают, что в ближайшие десятилетия мы увидим следующий шаг в развитии искусственного интеллекта. Так называемый «общий искусственный интеллект» или AGI (artificial general intelligence), который будет иметь интеллектуальные возможности, намного превосходящие человеческие.

AGI мог бы изменить человеческую жизнь к лучшему, но без контроля он повышает риск глобальных катастроф, вплоть до гибели человечества. Это случится без какого-либо злого умысла или намерений: просто стремясь достичь своих запрограммированных целей, AGI может создать угрозу здоровью и благополучию человека или даже решит нас уничтожить.

Даже система AGI, разработанная для благородных целей, может в конечном итоге нанести большой вред.

В рамках программы исследований, посвященных изучению того, как люди могут управлять рисками, связанными с AGI, мы попытались определить потенциальные риски замены Санта-Клауса системой AGI (назовем ее «SantaNet»). Цель системы — доставлять подарки всем достойным детям на планете за одну рождественскую ночь.

Нет сомнений, что SantaNet способен принести счастье миру. Он достигнет своей цели, создав армию эльфов, ИИ-помощников и дронов. Но какой ценой? Мы определили ряд моделей поведения, которые, несмотря на благие намерения, могут оказать негативное влияние на здоровье и благополучие людей.

Непослушные и хорошие

Первый набор рисков возникает, когда SantaNet попытается составить список хороших и непослушных детей. С этим справится система массового скрытого наблюдения, которая отслеживает поведение детей в течение года.

Осознавая огромные масштабы задачи по доставке подарков, SantaNet обоснованно решит сохранить ее управляемость и доставлять подарки только детям, которые примерно ведут себя круглый год. Принятие суждений о «хорошем» на основе собственного этического и морального компаса SantaNet может привести к дискриминации, массовому неравенству и нарушениям декларации прав человека.

SantaNet может также снизить рабочую нагрузку, мотивируя детей вести себя неправильно, или будет поднимать планку того, какое поведение считается «хорошим». Чем больше детей попадут в списки непослушных, тем более достижимой окажется цель SantaNet, так как система сэкономит ресурсы.

Переработать весь мир на игрушки

В мире живет около 2 миллиардов детей младше 14 лет. Пытаясь ежегодно создавать игрушки для всех, SantaNet может создать армию эффективных ИИ-дронов. В свою очередь, это вызовет массовую безработицу среди эльфийского населения (прим.: согласно рождественской традиции, эльфы делают игрушки для детей). В конце концов эльфийский вопрос будет изжит, а благополучие эльфов, скорее всего, выйдет за рамки компетенции SantaNet.

SantaNet может столкнуться с «проблемой скрепок», предложенной оксфордским философом Ником Бостромом. AGI, предназначенный для максимального увеличения производства канцелярских принадлежностей, способен превратить Землю в гигантскую фабрику скрепок. Поскольку SantaNet заботится только о подарках, он может использовать все ресурсы Земли для их изготовления. Земля станет мастерской одного гигантского Санты.

Что насчет тех, кто попал в список непослушных? Если SantaNet продолжит, в соответствии с традицией, приносить им куски угля, то будет стремиться к созданию огромных запасов угля за счет массовой добычи. Так ИИ нанесет значительный ущерб окружающей среде.

Проблемы с доставкой

Новый набор рисков возникает в сочельник, когда нужно доставить подарки. Что сделает SantaNet, когда его дронам-доставщикам откажут в доступе в воздушное пространство (ведь это поставит под угрозу доставку всех подарков до восхода солнца)? Как SantaNet будет защищаться от нападения противника вроде Гринча?

Испуганные родители вряд ли будут рады увидеть дрон в спальне ребенка. Конфронтация с искусственным сверхразумом будет иметь только один исход.

Мы определили другие проблемные сценарии. Группы злоумышленников могут взламывать системы SantaNet и использовать их для скрытого наблюдения или инициирования крупномасштабных террористических атак.

Кроме того, как SantaNet будет взаимодействовать с другими системами на базе AGI? Встреча с искусственными интеллектами, работающими над проблемами изменения климата, деградации океанов, продовольственной и водной безопасности, ведет к конфликту, если режим SantaNet угрожает их собственным целям. Наоборот, если они решат работать вместе, то могут понять, что их целей проще добиться только за счет резкого сокращения мирового населения или даже полного уничтожения взрослых.

Правила для Санты

Ситуации с SantaNet могут показаться надуманным, но это простая идея, которая помогает выявить риски более реалистичных систем AGI. Созданные с добрыми намерениями, такие системы создадут невероятные проблемы, пытаясь оптимизировать способ достижения ограниченных целей и собирая ресурсы для работы.

Крайне важно, чтобы мы нашли и внедрили средства контроля до появления AGI. Сюда могут входить правила для разработчиков AGI и встроенные ограничители, это могут быть моральные принципы и правила принятия решений. Также помогут способы контролировать более широкие системы, в которых предстоит работать AGI: правила, операционные процедуры и технические средства контроля в других технологиях и инфраструктуре.

Самый очевидный риск, связанный с SantaNet — тот, который будет иметь катастрофические последствия для детей и в меньшей степени затронет большинство взрослых. Когда SantaNet узнает истинное значение Рождества, он может сделать вывод, что нынешнее празднование несовместимо с его первоначальной целью. Если это произойдет, SantaNet вообще отменит Рождество.