Разработчики из США и Китая создали систему дополненной реальности на базе смартфона, позволяющую пользователю взаимодействовать с виртуальными объектами напрямую при помощи рук, а не сенсорного экрана. Разработка была представлена на конференции UIST 2019.

Дополненная реальность позволяет встраивать виртуальные объекты в реальный мир с помощью экрана и камеры смартфона или специальных AR-очков. Зачастую разработчики используют это в играх, но существуют также и неигровые приложения дополненной реальности. Одна из ключевых проблем этой области заключается в том, что в случае со смартфонами пользователь может взаимодействовать с виртуальными объектами только через сенсорный экран, что уменьшает ощущение реальности таких объектов.

Инженеры под руководством Джеффа Хуана (Jeff Huang) из Университета Брауна дополнили смартфон камерой глубины, что позволило отслеживать движения рук и использовать их для взаимодействия с виртуальными объектами. Алгоритм, способный достаточно точно отслеживать движения руки для смартфонов был создан только недавно, поэтому разработчики воспользовались отдельным устройством Leap Motion. Оно состоит из двух камер и трех инфракрасных светодиодов, благодаря которым устройство с высокой точностью отслеживает движения пальцев рук.

Поскольку датчик предназначен для работы с компьютером, а не смартфоном, инженерам пришлось добавить к устройству небольшой компьютер в форм-факторе «флешки». Приложение для смартфона работает на базе фреймворка ARCore для Android. Разработчики научили систему распознавать несколько жестов по данным с камеры глубины, используя метод опорных векторов. Помимо экрана система также выводит информацию с помощью звука и вибрации.

Авторы проверили работу системы на двух задачах: манипуляция бытовыми объектами и строительство небольшого дома. Исследование на 12 добровольцах показало, что новая система позволяет пользователям более комфортно и эффективно взаимодействовать с виртуальными объектами по сравнению с использованием только сенсорного экрана.