Американо-китайская группа инженеров представила прототип браслета, считывающего положения и жесты кисти. В нем установлено четыре инфракрасные камеры, которые направлены в сторону пальцев. Алгоритмы совмещают видео с камер и рассчитывают текущее положение всех пальцев и ладони, рассказывают авторы статьи в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.

Отслеживание положения кисти используют в VR-системах, чтобы пользователь мог естественным образом трогать виртуальные объекты, в бесконтактном управлении интерфейсами и в некоторых других сферах. Поскольку эта область уже весьма развита, в ней есть несколько стандартных подходов.

Чаще всего используется отслеживание с помощью механических датчиков в перчатках и отслеживание по визуальным датчикам на самом шлеме, как это реализовано в Oculus Quest, или недалеко от руки, к примеру, на столе или на кисти, с помощью контроллера Leap Motion или аналогичных датчиков.

Второй вариант не очень удобен и надежен, потому что при расположении не на теле пользователь становится привязанным к определенной области и должен держать руку в ней. А если закрепить датчик на руке, то он будет мешать, потому что он довольно громоздкий, а также не будет видно согнутые пальцы.

Инженеры под руководством Чэн Чжан (Cheng Zhang) из Корнеллского университета создали надеваемый на запястье браслет, который имеет небольшие размеры и отслеживает положение кисти сразу с четырех сторон. Браслет состоит из двух секций: на ближней к кисти установлено четыре камеры, снимающих в дальнем инфракрасном диапазоне с разрешением 32 на 24 пикселя. Данные с камер поступают на микрокомпьютер Raspberry Pi, а он в свою очередь пересылает их на более мощный компьютер, на котором работают нейросетевые алгоритмы.

Сначала четыре кадра обрабатываются сверточной нейросетью ResNet-44, а затем поступают на последний полносвязный слой, который по сути объединяет кадры и выступает в качестве декодировщика. На выходе алгоритм предоставляет модель кисти из 21 точки, связанных между собой и имеющих определенное положение.

Разработчики показали, что браслет позволяет определять положение кисти даже если человек держит в руке какой-то предмет. Тестирование на 11 добровольцах показало, что средняя ошибка определения положения сегментов между собой составляет 8,06 градуса.