Идея сверхинтеллекта не даёт покоя учёным. Некоторые высказывают предположение, что сверхинтеллект не обязан благоприятно относиться к людям, может быть к ним равнодушен, не учитывать их интересы. Что делать в такой ситуации? Точнее, как её предотвратить? Один из вариантов — контролировать действия сверхинтеллекта, разрешая только такие действия, которые идут на благо человечества. К сожалению, теперь выясняется, что это невозможно. Оказалось, что сдерживание сверхинтеллекта — невычислимая задача.

Сверхинтеллект — это гипотетический агент, обладающий интеллектом, намного превосходящим интеллект самых умных и одарённых людей. В свете последних достижений в области машинного интеллекта ряд учёных, философов и технологов возобновили дискуссию о потенциально катастрофических рисках, связанных с такой сущностью.

Три закона роботехники

В течение десятилетий архетипичные понятия по сдерживанию роботехники ограничивались «тремя законами роботехники» Айзека Азимова. Эти законы не охватывали сверхинтеллект, а то, что мы могли бы назвать «обычным» ИИ, типа антропоморфных роботов или автономных автомобилей. После программирования системы ИИ можно было гарантировать её безопасность:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Чтобы закрыть тему вреда человечеству, в 1986 году Азимов добавил нулевой закон:

• 0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред

Это экстремально рудиментарный, исключительно упрощённый подход к сложной проблеме. Он не включает в себя возможность развития ситуации по разным сценариям, многие из которых предвидел сам Азимов.

Законы сами собой подразумевают, что агенты ИИ не способны переступить эти законы в автономных действиях. Полное сдерживание происходит само собой из-за фундаментальных ограничений, присущих самой вычислительной технике. К сожалению, такой подход неприменим к сверхинтеллекту.

В своей последней монографии Ник Бустрём большое внимание уделил развитию сверхинтеллекта. Значительную часть монографии он посвятил проблеме контроля.