В этой статье рассказывается об алгоритмах глубокого обучения с подкреплением, которые используются для моделирования двигательного аппарата человека.

Смоделировать все возможные движения человека и описать все сценарии поведения — достаточно сложная задача. Если мы научимся понимать, как человек двигается, и сможем воспроизводить его движения «по образу и подобию» — это сильно облегчит внедрение роботов во многие области. Как раз для того, чтобы роботы учились повторять и анализировать движения сами, и применяется машинное обучение.

Для имитации двигательного аппарата человека создаются специальные среды, которые пытаются максимально точно смоделировать физический мир для решение конкретной задачи. Например, соревнование NIPS 2017 было сосредоточено на создании робота-гуманоида, имитирующего ходьбу человека. Для решения этой задачи обычно используются методы глубинного обучения с подкреплением, которые приводят к хорошей, но не оптимальной стратегии. Кроме того, в большинстве случаев время обучения получается слишком большим.

Основная проблема при переходе от выдуманных/простых задач к реальным/практическим задачам состоит в том, что награды в таких задачах, как правило, очень редки. Например, оценить прохождение длинной дистанции мы можем только в случае, когда агент достиг финиша. Для этого ему нужно выполнить сложную и правильную последовательность действий, что получается далеко не всегда. Решить эту проблему можно, дав агенту на старте примеры того, как «нужно играть» — так называемые демонстрации экспертов.

Оказалось, чтобы значительно улучшить качество обучения, мы можем использовать видеоролики, на которых показываются движения человека во время бега. В частности, можно попытаться использовать координаты движения конкретных частей тела (например, стоп), взятых из видео на YouTube.

Подробнее