Разработчики из DeepMind создали нейросетевых человекоподобных агентов, которые научились играть в футбол и помогать партнерам по команде. Сначала агенты учились базовым движениям, имитируя движения людей, затем тренировались, отрабатывая более сложные движения, к примеру, дриблинг, а после этого играли в команде и учились взаимодействовать с партнером, повышая тем самым шансы команды на гол.

Статья с описанием разработки опубликована на arXiv.org.

В исследованиях в области машинного обучения есть направление, в рамках которого разработчики создают подвижных компьютерных агентов. В отличие от обычных анимированных компьютерных персонажей, нейросетевые агенты обучаются «с нуля», начиная со случайных движений конечностей и постепенно выучивая требуемый навык, будь то паркур, баскетбольные движения или сальто.

Применение машинного обучения позволяет не программировать движения вручную, адаптировать агентов к новым условиям, а также обучать их в виртуальной среде, чтобы затем перенести на реальное устройство.

Параллельно с этим исследователи развивают методы обучения нейросетевых агентов коллективному взаимодействию. Например, в 2019 году специалисты из OpenAI опубликовали примечательную работу, в которой нейросетевые агенты самостоятельно учились парной игре в прятки и по мере обучения придумывали оптимальные тактики и методы противодействия им.

Сыци Лю (Siqi Liu), Гай Ливер (Guy Lever) и их коллеги из DeepMind на примере футбола показали, что нейросетевых агентов можно научить одновременно низкоуровневым навыкам, касающимся выполнения конкретных движений, и высокоуровневым, например, командному взаимодействию на поле.