Исследователи разработали иерархическую структуру обучения с подкреплением для повышения точности четвероногих роботов в футбольных бросках. О разработке сообщает Tech Xplore. Инженеры из Калифорнийского университета в Беркли (UC Berkeley), университетов Монреаля и Мила разработали систему машинного обучения с подкреплением для обучения роботизированных устройств точно передавать мяч во время игры в футбол.

Последние достижения в области робототехники позволили создать более надежное оборудование и усовершенствованные алгоритмы управления роботами, отмечают авторы работы. В результате механические устройства стали более гибкими и потенциально могут решать сложные задачи, в том числе, например, играть в футбол вместе с людьми.

Решение, предложенное инженерами, объединяет два ключевых компонента: управление движениями и планирование движения. Первый из них отслеживает траекторию движения пальца ноги, бьющей по мячу, а второй — выбирает оптимальную траекторию зацепа для броска близлежащего футбольного мяча (обнаруженного внешней камерой) в заданное место.

Система определяет потенциальную цель. Изображение: Ji et al., ArXiv

Исследователи отмечают, что реализованный подход позволяет разделить сложную задачу на два компонента: контроль и планирование. Благодаря этому можно сначала обучить робота выполнять правильные движения «в вакууме», отработав технику контроля, а затем переходить к реальным испытаниям и дообучать сеть в процессе игры.

Ученые протестировали свою модель в серии реальных испытаний, используя четвероногого робота A1. Они обнаружили, что при использовании нового подхода точность движений значительно повышается. Это очень сложная задача, так как робот должен быстро махать ногой и набирать обороты, не теряя равновесия, добавляют они.

Футбольный мяч создает больше проблем, потому что робот должен иметь дело не только с трудно моделируемым мягким контактом с деформируемым мячом, но и с неопределенностями трения качения между мячом и землей, – Чжунью Ли, соавтор исследования.

Исследователи отмечают, что такая техника обучения подойдет не только для игры в футбол, но и для выполнения других задач, в которых роботы взаимодействуют с мягкими объектами.