Финские ученые представили недорогого робота, с помощью которого можно тестировать систему усиленного обучения. Устройству не нужно много данных — он учится, ориентируясь в среде вокруг.

За последнее десятилетие исследователи несколько раз пытались использовать подходы, основанные на усиленном обучении (RL) — например, обучали роботов навигации в любой среде и выполнению базовых задач. Но пока им не удавалось создать доступные устройства, которые способны управлять исследовательскими средствами.

Теперь исследователи из Университета Аалто (Финляндия) и компании Ote Robotics представили RealAnt — недорогого четырехногого робота, которого можно использовать для тестирования и реализации алгоритмов RL. Новая платформа представляет собой минималистичную и доступную по цене реальную версию среды моделирования робота, которая используется в исследованиях усиленного обучения.

Изначально считалось, что алгоритмы будут хорошо работать только в том случае, если они будут тренироваться на симуляторах в течение тысяч часов. Однако исследователи смогли обучить четырехногого робота ходить, используя минимальное количество данных. Поэтому робота можно обучать в реальной среде, без тренировок на симуляторе.

Основной целью исследователей было создание простой и недорогой робототехнической платформы, основанной на существующих базовых решениях усиленного обучения. Такая платформа позволит большему числу исследователей создавать и тестировать автономных роботов, которые способны выполнять базовые задачи в реальном мире.

RealAnt, четырехногий робот, которого они создали, является универсальным, минималистичным и недорогим. Он может самостоятельно научиться ходить, двигая ногами согласованно, и может чувствовать свое положение и ориентацию в заданной среде. Используя алгоритмы RL, робот можно обучить выполнять простые и в то же время ценные задачи. Причем для этого он ориентируется на среду вокруг и ему не нужны дополнительные данные.