Если что-то пойдет не так, искусственный интеллект можно будет быстро обезвредить
Компьютерные системы становятся все более производительными и «умными» с каждым годом. К прогрессу в области разработки искусственного интеллекта (или его элементов, если быть более точным) причастны как отдельные ученые, так и крупнейшие корпорации вроде Google, Facebook, Microsoft и другие. Компьютеры действительно показывают значительные результаты. Даже в такой сложной для машинного интеллекта игре, как ГО, компьютер уже стал побеждать известных чемпионов (серия игр Ли Седоля с DeepMind тому прямое доказательство).

Многие светлые умы нашего времени поддерживают идею создания ИИ, но высказываются и опасения в плане «рождения». искусственного интеллекта, считая, что он может навредить человеку определенным образом. В прошлом году бизнесмены, ученые, эксперты в сфере робототехники и других сферах подписали открытое письмо, в котором предостерегают производителей оружия от разработки боевых систем со 100% автономностью. В числе подписавшихся — Илон Маск, Стивен Хокинг, Ноам Хомский, Стив Возняк.

В настоящее время ИИ существует только в слабой своей форме, если так можно выразиться. Это означает, что компьютерные системы могут решать сложные задачи вроде перевода голоса в текст или преобразования изображений. Сильный ИИ — это уже компьютерная система, способная понимать информацию, с которой она работает. Второй категории ИИ пока не существует, но именно она является предметом ожесточенных дискуссий ученых и предпринимателей. Как остановить сильный ИИ, если он вдруг начнет вредить человеку? Ответ на этот вопрос пытается найти команда исследователей из Оксфордского университета и лаборатории DeepMind.

Представители проекта считают, что вряд ли сильный ИИ будет вести себя все время так, как задумано. «Если такой агент (ИИ, — прим. ред.) будет работать в режиме реального времени под контролем человека, время от времени человеку-оператору понадобится большая красная кнопка для остановки выполнения опасных для самого агента или его окружения действий агента», — говорится в описании проекта.

При этом специалисты считают, что самообучающаяся компьютерная система со временем вполне может обнаружить определенный механизм обхода или даже игнорирования команды стоп-оператора. Для этого, утверждают ученые, нужно создать фреймворк, который просто не даст возможности агенту ИИ блокировать команды оператора-человека.

Такая «большая красная кнопка» должна быть гарантией возможности прерывания текущей работы компьютерной системы, а также обезопасить его самого и окружающих в опасной ситуации и предотвратить совершение действий, которые могут привести к необратимым последствиям.

Само сотрудничество Института будущего человечества (Future of Humanity Institute) и DeepMind является примечательным фактом. Дело в том, что DeepMind решает проблему создания ИИ, а Институт будущего человечества пытается определять проблемы, угрожающее существованию нашей нации, и искать решения таких проблем. Директор института Ник Бостром считает неконтролируемый ИИ довольно опасным: «Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется супер-интеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги».

Ник Бостром также считает, что очень важно создать не только самообучающуюся систему, но и систему, которая сможет совершенствоваться самостоятельно: «Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня супер-интеллекта».

Команда, о которой идет речь, считает, что некоторые системы самообучения можно останавливать без проблем. Это, к примеру Q-learning алгоритм. А вот алгоритмы типа Sarsa просто так «тормозить» нельзя, в том виде, в котором они существуют сейчас. Но если дополнить Q-learning рядом доработок, то «большую красную кнопку» можно без проблем использовать и здесь. Другой важный вопрос — это регулярные прерывания работы ИИ. К примеру, ИИ можно отключать каждую ночь в 2 часа ночи на 1 час. Здесь ученые также считают важным не только не допустить сопротивления ИИ, но и спланировать все так, чтобы подобное прерывание работы агента не сказалось на выполнении определенных задач. Результаты своих исследований и размышлений ученые опубликовали в Сети.

Суть работы специалистов можно описать еще одной цитатой Ника Бострома: «Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч».

Ну, а опасность ИИ для человека прекрасно описал писатель-фантаст Фредерик Браун в своем рассказе «Ответ». Здесь речь идет про объединение компьютерных систем миллионов планет Галактики, и последующее рождение искусственного интеллекта. Первый же ответ ИИ на вопрос человека расставил все точки над «и»:

 — Есть ли бог?
Могущественный голос раздался сразу.
 — ДА. ТЕПЕРЬ БОГ ЕСТЬ!
Двар Эв понял не сразу, но потом страх исказил его лицо — он бросился к выключателю…
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.

Рассказ опубликован автором еще в 1954 году.