Ученые создали систему, которая при помощи камеры глубины распознает движения человеческой руки в режиме реального времени. Она может быть использована для виртуальной и дополненной реальности. Разработка будет представлена на конференции по машинному зрению CVPR 2016.

Для распознавания движений руки DeepHand использует камеру с сенсорами глубины и сверточную нейросеть. Систему обучали с помощью базы данных, в которой было 2,5 миллиона карт глубин, изображающих руки в различных позах. В результате, каждому суставу были назначены особые «векторные» признаки, которые характеризовали, каким образом могут двигаться пальцы. Также система научилась распознавать тип позы руки (общая или локальная), отдельные пальцы и то, насколько рука раскрыта.

«Мы определили ключевые углы в руке и посмотрели, как они изменяются, и затем представили эти формы в виде набора чисел», — комментирует один из авторов работы.

DeepHand с помощью камеры с сенсорами глубины следит за движениями руки, оценивая ее общее положение, и синхронизируется с базой данных. На основе позы руки система определяет остальные параметры суставов, выбирает наиболее подходящую конфигурацию и затем отображает руку на экране монитора.

DeepHand достаточно точно распознает движения — ошибка при оценке ее положения составляет всего 16,35 миллиметров. Однако исследователи для обозначения границы ладони пока что используют специальный напульсник. Кроме того, обучение системы требует достаточно больших вычислительных мощностей.

В будущем исследователи рассчитывают использовать DeepHand для дополненной реальности, в которой окружающий мир соединяется с элементами виртуального. Система позволит управлять цифровыми объектами — например, перемещать их или менять размер. Особенно удобной ее делает то, что никакого дополнительного оборудования для захвата движений (например перчаток с датчиками движения), кроме камеры глубины, не требуется.

Автор: Кристина Уласович