Авторы новой работы разработали технологию, которая считывает жесты рук и на основе них выполняет команды. Новая система называется Typealike, она использует обычную веб-камеру ноутбука. Программа распознает движения рук пользователя, которые находятся рядом с клавиатурой, и предлагает операции, основанные на различных положениях рук.

Пользователь может, например, положить правую руку большим пальцем вверх рядом с клавиатурой, и программа распознает это как просьбу увеличить громкость. Различные жесты и комбинации жестов можно запрограммировать для выполнения широкого спектра операций.

Инновация в области взаимодействия человека и компьютера направлены на то, чтобы сделать пользовательский интерфейс более быстрым и плавным. Поэтому исчезнет потребность использовать сочетания клавиш или работать с мышью и трекпадом.

Мы используем веб-камеру. Она направлена на ваше лицо, но большинство взаимодействий исходит от рук. Поэтому мы придумали использовать веб-камеру, чтобы улавливать жесты рук, – Налин Чиббер, выпускник магистратуры Школы компьютерных наук Университета Ватерлоо в Черитоне.

В результате исследователи создали небольшое механическое приспособление, которое сосредоточивает веб-камеру на руках. Затем они разработали программное обеспечение, которое может понимать жесты рук в различных условиях. Команда использовала методы машинного обучения. Команда создала базу данных с жестами рук от десятков добровольцев-исследователей. Они также провели тесты и опросы, чтобы понять, как сделать программу максимально функциональной и универсальной.