OpenAI формирует специальную команду, которая займется разработкой методов контроля и управления системами искусственного интеллекта. Ее возглавит Илья Суцкевер, сооснователь и главный научный сотрудник OpenAI, стоявший за разработкой GPT-4. ИИ, который превзойдет по интеллекту человека, появится в ближайшие 10 лет, уверен он. И не обязательно будет благосклонен к человеку. Цель команды — создать надежные методы контроля сверхразумного ИИ, помимо выключения рубильника.

«Сегодня мы не знаем, как управлять или контролировать потенциально сверхразумный ИИ, что делать, если он пойдет вразнос, — написали Суцкевер и Ян Лейке, руководитель одного из отделов разработки ИИ в OpenAI. — Современные технологии наладки ИИ, такие как обучение с подкреплением на основе отзывов людей основаны на человеческой способности надзирать за ИИ. Но люди не смогут эффективно надзирать за системами ИИ, которые намного умнее нас».

Это и стало причиной создания команды Superalignment, которую возглавят Лейке и Суцкевер. У нее будет доступ к 20% вычислений OpenAI. К команду войдут ученые и инженеры из различных ИИ-отделов компании, а ее целью на ближайшие четыре года станет решение главных технических проблем контроля сверхразумного ИИ.

У руководства командой уже есть представление о том, в каком направлении двигаться: они собираются построить автоматизированную исследовательскую систему, которая станет следить за другими ИИ и, в конце концов, создаст управляемый ИИ, который не выйдет из-под контроля. По гипотезе ученых OpenAI, разработать такой ИИ у машины получится быстрее и лучше, чем у человека. Ученые смогут в большей мере сконцентрироваться на попытках оценки результатов процесса настройки ИИ, вместо того чтобы самим заниматься этой настройкой, пишет TechCrunch.

Безусловно, нет никаких гарантий, что этот метод сработает, и разработчики из OpenAI понимают это. Использование ИИ для оценки может увеличить количество непоследовательностей, предвзятостей и уязвимостей в этих системах. Возможно, что самая сложная часть проблемы надзора коренится вовсе не в инженерной стороне проблемы. Тем не менее, Суцкевер и Лейке настроены оптимистически.

В рамках испытаний на безопасность, которые OpenAI проводила перед релизом языковой модели четвертого поколения GPT-4, компания позволила тестировщикам провести оценку потенциальных рисков недопустимого поведения искусственного интеллекта — в том числе, стремления к власти, самовоспроизведению и самосовершенствованию. Несмотря на то, что GPT-4 оказался неэффективным в автономном воспроизведении, характер экспериментов поднимает вопросы о безопасности будущих систем ИИ.