Для того, чтобы роботизированый механизм научился ходить, недостаточно просто «приделать» к нему несколько ног. Обучение передвижению — очень сложный процесс, отнимающий у разработчиков массу времени. Но теперь этот вопрос будет решать искусственный интеллект, ведь группа экспертов создала универсальные алгоритмы, помогающие ИИ учить роботов любой конфигурации перемещаться. При этом вмешательство человека в этот процесс не требуется.

За разработкой стоит команда ученых из Калифорнийского университета в Беркли и группа экспертов Google Brain, одного из исследовательских подразделений Google по искусственному интеллекту. Их новая система обучила четвероногого робота пересекать как знакомую местность, так и незнакомую.

«Глубокое обучение с подкреплением может быть использовано для автоматизации ряда задач. Если мы сможем научить робота походке с нуля в реальном мире, мы можем создать контроллеры, которые идеально адаптированы к каждому роботу и даже к отдельным ландшафтам, позволяя достигать лучшей маневренности, энергоэффективности и надежности.» — заявили ученые.

Обучение с подкреплением — это, по сути, метод кнута и пряника адаптированный для ИИ. Он использует вознаграждение или наказание при достижении или не достижении целей.

«Глубокое обучение с подкреплением широко используется для тренировки ИИ и даже для передачи данных реальным роботам, но это неизбежно влечет за собой некоторую потерю производительности из-за несоответствий в моделировании и требует активного вмешательства. Использование таких алгоритмов в реальном времени оказалось непростой задачей.»

Для экспериментов ученые взяли робота Minitaur. Они разработали систему, состоящую из рабочей станции, которая обновляла данные нейронной сети, загружала информацию в Minitaur и выгружала обратно. Чип NVIDIA Jetson TX2 на борту робота отвечал за обработку информации. Робот шагал на протяжении 2 часов и сделал 160 000 шагов. За это время алгоритм вознаграждал робота за перемещение вперед и наказывал, если он застревал на месте или давал очень большой крен в сторону. В итоге был создан алгоритм движения, позволивший роботу в любой ситуации выбирать оптимальную траекторию движения.

«Насколько нам известно, этот эксперимент является первым примером применения обучения с подкреплением, который позволяет научить робота ходить.»