В истории о машинах, побеждающих людей, появилась новая глава: ИИ снова победил пилота-человека в виртуальном воздушном бою. Соревнование AlphaDogfight стало финалом испытаний нейросетевых алгоритмов, разработанных для американских вооруженных сил. И наилучшей демонстрацией возможностей интеллектуальных автономных агентов, способных победить вражеские самолеты в воздушном бою. Подробнее — в материале Cloud4Y.

Это не первый раз, когда ИИ побеждает пилота-человека. Испытания 2016 года показали, что система искусственного интеллекта может победить опытного инструктора по боевым полетам. Но симуляция DARPA в четверг, возможно, была более значимой, поскольку она столкнула множество алгоритмов между собой, а затем против человека в сложных условиях. Помимо интеграции ИИ в боевые машины для повышения их боеспособности, подобные симуляции также могут помочь тренировать людей-пилотов.

Начало

В августе прошлого года агентство Defense Advanced Research Project Agency (DARPA) выбрало восемь команд для участия в серии испытаний. В список попали Aurora Flight Sciences, EpiSys Science, Georgia Tech Research Institute, Heron Systems, Lockheed Martin, Perspecta Labs, PhysicsAI и SoarTech (как можно понять, наряду с крупными подрядчиками оборонной промышленности, типа Lockheed Martin вопросом занимались и небольшие компании, вроде Heron Systems).

Целью программы являлось создание ИИ-систем для боевых беспилотников и беспилотных ведомых, прикрывающих пилотируемые истребители. Учёные и военные рассчитывают, что ИИ сможет вести воздушный бой быстрее и эффективнее человека, снизить нагрузку на летчика, предоставив ему время для принятия важных тактических решений в рамках более масштабной боевой задачи.

Первый этап AlphaDogfight Trials проводился в ноябре 2019 года в лаборатории прикладной физики университета Джонса Хопкинса. На нем нейросетевые алгоритмы, созданные разными командами, вели воздушный бой с системой искусственного интеллекта Red, созданной специалистами DARPA. Бои между алгоритмами велись в режиме 1х1 на низком уровне сложности. Второй этап испытаний прошел в январе 2020 года. Он отличался от первого повышенной сложностью. Заключительный этап испытаний, состоявшийся 20 августа 2020 года, можно было посмотреть в прямом эфире на YouTube-канале DARPA.

Испытания проводились в авиационном симуляторе FlightGear с использованием программной модели динамики полета JSBSim. В первых двух этапах нейросетевые алгоритмы управляли тяжёлыми истребителями F-15C Eagle, а в третьем — средними F-16 Fighting Falcon.

Как машина победила человека

На третьем этапе испытаний нейросетевые алгоритмы сперва провели воздушные бои друг с другом. Победителем всех боев была признана система, созданная компанией Heron Systems. Воздушные бои велись на ближней дистанции с использованием только пушечного вооружения.

Затем алгоритм Heron Systems провел воздушный бой с опытным летчиком-истребителем и инструктором ВВС США с позывным Banger. Всего было проведено пять боев. ИИ-алгоритм одержал победу во всех.

«Стандартные приёмы воздушного боя, которые изучают летчики-истребители, не сработали», — признал проигравший машине пилот. Но в последних раундах человек смог продержаться дольше.

Причина в том, что ИИ не могли учиться на собственном опыте во время реальных испытаний. К пятому, последнему раунду воздушной схватки пилот-человек смог значительно изменить свою тактику, что и позволило продержаться намного дольше. Тем не менее, недостаточная скорость обучения опытного лётчика привела к его поражению.

Другим победителем испытаний можно назвать глубокое обучение с подкреплением, при котором алгоритмы искусственного интеллекта снова и снова, иногда очень быстро, испытывают задачу в виртуальной среде, пока не разовьют нечто вроде понимания. Какой тип нейронной сети использовали разработчики, не раскрывается. Heron Systems использовала обучение с подкреплением для обучения нейронной сети. Во время обучения сеть провела четыре миллиарда симуляций.

Второй результат в виртуальных воздушных боях показал алгоритм, разработанный компанией Lockheed Martin. Его подготовка также велась методом обучения нейросети с подкреплением.

Немного деталей

Ли Ритхольц, директор и главный архитектор искусственного интеллекта из Lockheed Martin, после испытаний рассказал журналистам, что попытка заставить алгоритм хорошо работать в воздушном бою сильно отличается от обучения программному обеспечению просто «летать», то есть поддерживать определённое направление, высоту и скорость.

«Изначально компьютерная программа не понимает даже самые элементарные вещи, что ставит её в уязвимое положение по сравнению с любым человеком. Вам не нужно объяснять пилоту, что он не должен врезаться в землю. Это базовые инстинкты, напрочь отсутствующие у машины. Преодоление этого незнания требует обучения алгоритма тому, что за каждую ошибку приходится платить. Обучение с подкреплением вступает в игру, когда алгоритм назначает веса [затраты] каждому маневру, а затем повторно определяет эти веса по мере обновления своего опыта. Процесс сильно варьируется в зависимости от входных данных, включая сознательные и бессознательные предубеждения программистов в отношении того, как структурировать моделирование. В команде были жаркие споры на тему того, что лучше: написать программное правило, основанное на человеческих знаниях, чтобы ограничить ИИ, или позволить ИИ учиться методом проб и ошибок. Мы решили, что внедрение правил ограничивает производительность программы. Ей нужно учиться методом проб и ошибок», — рассказал Ритольц.

Нет сомнений в том, что ИИ может учиться, и очень быстро. Используя локальные или облачные ресурсы для моделирования воздушных боёв, что он может повторять урок снова и снова на нескольких машинах. У Lockheed, как и у нескольких других команд, был пилот-истребитель. Они также могли запускать обучающие наборы на 25 серверах DGx1 одновременно. Но то, что они в конечном итоге производили, могло работать на одном GPU. Для сравнения, после победы Бен Белл, старший инженер по машинному обучению в Heron Systems, сказал, что их алгоритм прошёл не менее 4 млрд симуляций и приобрёл примерно 12 лет опыта.

В итоге DARPA поздравили с победой стартап Heron Systems, чей алгоритм сумел обойти разработки более крупных компаний вроде Lockheed Martin.