Исследователи из Института Макса Планка и Facebook Reality Labs разработали алгоритм машинного обучения PhysCap, который может выполнять 3D-захват движения. Алгоритм работает с любой зеркальной камерой, скорость съемки которой составляет 25 кадров в секунду.

Новый алгоритм машинного обучения PhysCap осуществляет качественный захват движения с учетом всех физических показателей. До этого попытки создать систему motion capture варьировались от костюма стоимостью $2 500 до платформы, которая использует глубинный сенсор Kinect от Microsoft.

PhysCap захватывает физически и анатомически правильные позы. Алгоритм оценивает 3D-позы тела кинематическим способом с помощью сверточной нейронной сети. На втором этапе положение тела и состояние движения для каждого кадра видео предсказывает другая сверточная сеть. На заключительном этапе оценки поза воспроизводятся как можно точнее, чтобы учесть такие вещи, как гравитация, размещение ног и другие факторы.

В ходе эксперимента выяснилось, что ИИ хорошо работает на сценах с разным фоном, но иногда неправильно интерпретирует скорость движения ног.

В будущем команда планирует проработать модели взаимодействия рук и ног человека в сидячей и полулежачей позах.