Инженеры проекта Google Robotics совершили заметный прорыв в обучении роботов хождению. Усовершенствовав существующие алгоритмы, они создали четвероногого робота, который самостоятельно научился ходить в разных направлениях и поворачиваться. При этом степень человеческого вмешательства в процесс была минимальной.

Обычно алгоритмы обучают и тестируют при помощи компьютерной симуляции, а затем импортируют в устройство. На этот раз разработчики решили отказаться от первоначального тестирования в виртуальной среде. Вместо этого они использовали обучение с подкреплением в реальном мире. Статью о своей работе инженеры выложили на портале ArXiv.org в виде препринта.

Робота запустили на ограниченную территорию и заставили разучивать несколько действий. Как только он добирался до края зоны обучения, то тут же разворачивался обратно без помощи исследователей. Также инженеры добавили в программное обеспечение жестко заданный алгоритм, который позволял аппарату возвращаться в устойчивое положение после падений.

Сначала устройство тестировали на плоской поверхности: чтобы разобраться, как передвигаться по ней, роботу понадобилось около полутора часов. Затем задачу усложнили, запустив устройство на ажурный резиновый половик и на мягкий коврик с эффектом памяти. Для обучения ходьбе по этим поверхностям роботу понадобилось 4,5 и 5,5 часа соответственно.

«Получая возможность обучаться автономно, роботы приближаются к возможности учиться в реальном мире, в котором мы живем, а не в лаборатории», — говорит одна из авторов проекта Челси Финн.

В дальнейшем исследователи хотят приспособить алгоритмы для тренировки различных типов роботов и совместного обучения нескольких роботов в ограниченном пространстве.