При помощи видеоигр современные специалисты по искусственному интеллекту собираются обучать ИИ методам преодоления препятствий и решения возникающих проблем «на ходу». К примеру, сотрудники DeepMind совместно с Blizzard превратили StarCraft II в среду для обучения слабой формы ИИ. В прошлом году система искусственного интеллекта Google самостоятельно освоила 49 старых игр Atari.

И речь идет не о системе, интегрированной в игру (вроде AI-противников в файтингах, футбольных симуляторах или симуляторах гонок), которой прекрасно известны условия и правила. ИИ, который обучают разработчики в компьютерных играх сейчас, поставлен в равные с человеком условия. Система наблюдает за картинкой на экране, обучаясь методам проб и ошибок. И такая программа способна находить решение не только в играх, она пригодна для поиска решения в самом широком кругу задач, независимо от правил или условий.

3D-окружение еще сложно для восприятия слабой формой ИИ, что влечет за собой проблемы компьютера при прохождении таких игр

Группа студентов из Технологического университета Израиля недавно заявила о своей разработке, системе Retro Learning Environment (RLE). Это программная платформа, которая позволяет обучать ИИ на примере многих игр 90-х годов, включая те из них, что выходили для консолей Nintendo и Sega. Это, например, многим известные F-Zero, Wolfenstein, и Mortal Kombat. По словам разработчиков, для ИИ многие игры оказались сложными, некоторые система так и не научилась понимать и проходить. Зато RLE отлично научилась играть в Mortal Kombat. Результаты своей работы специалисты изложили в статье на arXiv. ИИ неоднократно смог вчистую выиграть у противника-человека. И этим противником был отнюдь не новичок. В статье указано, что компьютеру противостоял опытный игрок в Mortal Kombat.

В Wolfenstein, где объемные уровни, плюс необходимо ориентироваться при прохождении лабиринта и определять ряд объектов, система показала не слишком хороший результат. В Gradius III RLE смогла изучить технические аспекты игры, которые включают необходимость уничтожения встречающихся врагов с последующими действиями. Но система не смогла показать лучший результат, чем у игрока-человека. Здесь необходимо улучшать способности персонажа встречающимися артефактами. Чем больше артефактов игрок пропускает — тем тяжелее проходить игру. Компьютер практически не обращал внимания на power-up объекты, что значительно усложнило процесс прохождения.

То, что программа смогла научиться играть в компьютерную игру настолько хорошо, что стала выигрывать у человека — несомненная заслуга разработчика. Для компьютера научиться проходить игру методом проб и ошибок не так просто, это сложное задание, которое преодолевают немногие программные платформы. «Если алгоритмы могут играть в сложные игры, то мы можем начать работу над внедрением таких систем в реальном мире, для решения реальных проблем», — заявил Шай Розенберг, один из авторов исследования. «Подобно тому, как ребенок учится играть в игры, компьютер тоже видит лишь информацию на экране. Они (и ребенок и компьютер) учатся избегать препятствий и решать проблемы для получения максимального вознаграждения», — продолжает он.

ИИ неплохо научился играть как в Boxing на Atari, так и в Mortal Kombat, просто «глядя на экран» и оценивая последствия своих действий в игровой среде

В реальном мире умение компьютерных систем учиться на своих ошибках и предсказывать последствия некоторых «поступков» может пригодиться во многих сферах. Роботы могут перемещаться по сложным пространствам (коридорам помещений, например) с большим количеством препятствий, не сталкиваясь с ними. Любая небольшая ошибка, допущенная компьютером, будет им учитываться в следующий раз, при выполнении такой же или схожей задачи.

По словам Розенберга, RLE может научиться проходить и более сложные игровые системы, а не только играть в SNES-игры. Следующим этапом проекта будет освоение игр платформы PlayStation. Правда, пока что израильские разработчики сосредоточены на том, чтобы научить свою систему проходить большую часть осваиваемых игр. То, что компьютер научился играть в Mortal Kombat этот хорошо, но недостаточно — все же значительная часть игр «осталась за бортом», RLE не смогла их освоить.

Результаты прохождения разных игр системой RLE с использованием различных алгоритмов прохождения

«На последующих этапах мы считаем возможной и даже относительно легкой задачей адаптацию нашей обучающей системы к более сложным играм, включая, например, Grand Theft Auto», — заявили разработчики. Сейчас, к сожалению, игры типа Grand Theft Auto V’s Los Santos ИИ недоступны — слишком уж они сложные.

Исходный код своей системы разработчики сделали открытым и выложили на Github. Получить исходники можно здесь.