Швейцарские инженеры создали браслеты для реализации сенсорных интерфейсов в виртуальной реальности. Браслеты отслеживают прикосновения пальцев к предметам при помощи акселерометров, а шлем с помощью камер следит за движением пальцев в пространстве. Это позволяет, к примеру, создать виртуальную клавиатуру или сенсорный экран в виртуальной реальности, рассказывают авторы статьи, которая будет представлена на конференции IEEE VR 2021.

Для работы в виртуальной реальности необходимо, чтобы пользователь мог взаимодействовать с интерфейсом, в том числе с его мелкими деталями. В Oculus Quest, например, есть режим, в котором перед пользователем возникают наложенные на реальный мир виртуальные мониторы, с которыми можно взаимодействовать с помощью стандартных клавиатуры и мышки или жестов в воздухе.

Необходимость использовать реальные средства ввода нивелирует преимущества VR-шлемов, которые могут отображать их виртуальные копии. Но пока эта проблема сложно решаема, потому что, к примеру, для ввода на виртуальной клавиатуре необходимо точно отслеживать положение пальцев, их контакт с клавишами и положение стола или другой поверхности, на которой человек держит руки во время набора текста.

Мануэль Майер (Manuel Meier) и его коллеги из Швейцарской высшей технической школы Цюриха (ETH) создали контроллеры, позволяющие регистрировать прикосновения пальцев к предметам и тем самым реализовать виртуальные сенсорные экраны. Контроллер выполнен в виде браслета с полимерным ремешком и платой посередине. В ней есть два собственных акселерометра, а также от нее отходят по две стороны еще два акселерометра, располагающихся на противоположных сторонах запястья.

Принцип работы браслета основан на том, что при прикосновении пальца к столу или другой поверхности возникают вибрации, которые проходят через определенный палец и часть кисти и доходят до акселерометров. Поскольку путь прохождения колебаний для каждого пальца разный, то и сигналы на акселерометрах различаются, и эти различия можно распознать при помощи алгоритма машинного обучения.

Алгоритм, разработанный авторами, в фоновом режиме анализирует сигналы и ищет в них пики. Вместо простого порогового отсечения фона разработчики использовали функцию, которая обнаруживает быстрые изменения в ускорении и тем самым отделяет нажатия пальцев от других действий. После того как алгоритм обнаружил нажатие, сигнал подается на сверточную нейросеть с архитектурой VGG, которая классифицирует его, относя к тому или иному пальцу.

Разработчики пригласили 18 добровольцев и записали с их помощью 3600 нажатий, которые использовались для обучения и тестов. Точность распознавания пальца составила 87 процентов. В качестве применения авторы предложили использовать такие браслеты для ввода текста с клавиатуры и взаимодействия с элементами виртуального интерфейса.