Американские исследователи разработали наушники, умеющие отслеживать мимику пользователя, даже если он надел маску. Устройство C-Face мониторит контуры щек и преобразует мимические движения в эмодзи. Такая технология позволит людям, к примеру, передавать свое настроение во время групповых звонков, не включая веб-камеру.

Устройство C-Face, созданное в лаборатории SciFi Корнеллского университета, проще, удобнее и производительнее, чем любая из существующих носимых технологий для отслеживания мимики лица, утверждает директор лаборатории Чэн Чжан. Оно обходится без прикрепленных к лицу датчиков и распознают широкий спектр эмоций, сообщает Engadget.

Затем изображения реконструирует система компьютерного зрения и модель глубокого обучения на базе сверточной нейросети анализирует полученные двухмерные картинки. Технология позволяет точно сопоставить 42 характерных положения рта, глаз и бровей пользователя с определенными гримасами, которые C-Face «переводит» в восемь эмодзи, включая нейтральное и сердитое выражение лица.

С помощью C-Face можно управлять музыкальным плеером, отслеживать реакцию студентов во время дистанционного обучения, сообщать о своем настроении, не включая веб-камеру, или управлять мимикой аватара в виртуальной реальности.