Технология может заменить камеры в устройствах виртуальной и дополненной реальности. Результаты исследования опубликованы на сайте препринтов arXiv. Инженеры из Корнеллского университета использовали эхолокацию и искусственный интеллект (ИИ) для отслеживания направления взгляда и выражения лица человека. Миниатюрные датчики, которые поместятся в умные очки или VR-гарнитуры, потребляют гораздо меньше энергии, чем обычные видеокамеры, и могут работать непрерывно.

Ученые разработали две системы: GazeTrak для отслеживания взгляда и EyeEcho для распознавания выражения лица. Обе системы используют динамики и микрофоны, установленные на оправе очков, для генерации неслышимых звуковых волн и анализа отраженных сигналов от глаз или кожи лица.

Для GazeTrak исследователи разместили у центральной части оправы напротив каждого глаза по одному динамику и по четыре микрофона. Устройства генерируют звуки и регистрируют отраженные от глазного яблока и области вокруг глаза волны. Полученные данные передаются ИИ, который непрерывно определяет направление взгляда в реальном времени.

EyeEcho использует один динамика и один микрофон, расположенные рядом с дужками очков и направленных вниз, чтобы регистрировать движения кожи при изменении выражения лица. Отраженные сигналы интерпретирует ИИ.

В виртуальной реальности вам нужно воссоздать в деталях выражение лица и движения взгляда, чтобы вы могли лучше взаимодействовать с другими пользователями, – Ке Ли, соавтор исследования.

Разработчики отмечают, что технологии пригодятся не только для виртуальной реальности. Отслеживание взгляда можно использовать, например, вместе с программами для чтения с экрана, чтобы помогать людям со слабым зрением просматривать веб-сайты.

Разработка также подойдет для диагностики и контроля развития нейродегенеративных заболеваний, например, болезни Альцгейера или Паркинсона. Умные очки помогут отслеживать аномальные движения глаз и изменения в мимике лица, чтобы оценить прогрессирование болезней.