Группа исследователей из Калифорнийского университета в Беркли построила двуногого робота. Он сам учится ходить, используя обучение с подкреплением. Инженеры написали статью с описанием своей работы и загрузили ее на сервер препринтов arXiv. Работа заключалась в создании двуногого робота. Его пара конечностей соединена вместе небольшой удерживающей рамой.

Сейчас робот, которого авторы назвали «Кэсси», выполняет свои задачи привязанным к раме, которой руководит один из исследователей. По сравнению с другими роботами, например, с разработками Boston Dynamics, «Кэсси» кажется примитивным. Однако он представляет собой передовую технологию нового типа, в которой робот сам учится ходить без прямого программирования или имитации.

Как учатся ходить люди? Используя обучение с подкреплением! Младенцы приобретают этот навык, пробуя новые движения. Они не понимают весь процесс сразу, но запоминают шаги, которые приводят к ходьбе. А затем опираются на то, что узнали, добавляя дополнительную информацию, которая в конечном итоге приводит к правильной ходьбе. При этом дети не останавливаются на достигнутом; они продолжают учиться, и их походка становятся лучше. Со временем дети осваивают новые приемы — как бег и прыжки.

Чтобы помочь роботу научиться ходить таким же образом, исследователи начали с его моделирования в виртуальном мире. Он обучен с помощью информации, а ИИ запоминает и использует ее. Моделирование позволило роботу научиться ходить, не повреждая оборудование.

Как только робот научился ходить в симуляции, исследователи передали его знания «Кэсси», которая использовала их для ходьбы, как у младенцев. И, как малыш, она совершенствовала свои навыки. Она научилась не падать при небольшом скольжении или восстанавливаться, когда ее толкают сбоку. Кроме того, ей удалось научить компенсировать ущерб, когда оба ее двигателя повреждены.

Исследователи планируют продолжить свою работу с обучением с подкреплением в роботах, чтобы увидеть, насколько далеко они могут зайти.