Мышь – устаревший посредник между человеком и компьютером. Для многих задач гораздо удобнее использовать собственные руки. Веб-камера может анализировать человеческие жесты и переводить их в команды для графического редактора или других программ.

О последних разработках в этой области рассказали сотрудники кафедры «Интеллектуальные системы» Московского физико-технического института на 53-й конференции МФТИ, уточняет Информнаука.

Первоначально учёные работали над системой распознавания неподвижных жестов. Эту технологию можно было бы использовать, например, для понимания компьютером языка глухонемых. В ходе исследования выяснилось, что разработанный алгоритм подходит и для анализа движений. Алексей Куракин, аспирант кафедры «Интеллектуальные системы» МФТИ рассказал, что новая система распознавания жестов основана на построении геометрического скелета руки. Так называется система линий, которую компьютер рассчитывает на основе силуэта ладони. В ней однозначно определён каждый палец руки, что позволяет компьютеру быстро и точно различать жесты. Алгоритм построения геометрического скелета руки разработан Леонидом Местецким, профессором кафедры «Математические методы прогнозирования» МГУ и кафедры «Интеллектуальные системы» МФТИ.

Программа, написанная Куракиным и его коллегами, распознаёт 5 жестов и классифицирует их по количеству видимых пальцев, а также по их движению относительно друг друга. Далее компьютер соотносит эту информацию с конкретными командами. Сегодня программа адаптирована под графический редактор и позволяет работать с изображениями: перемещать, поворачивать картинки, изменять их размер. Для записи не требуется никакой специализированной техники – с работой справляется стандартная веб-камера и обычный персональный компьютер.

Работа с изображениями с помощью программы, созданной в МФТИ. Виден геометрический скелет руки – система линий, которую строит программа для распознавания жестов

В настоящее время количество жестов невелико, потому что программа воспринимает руку как плоский объект. Исследователи работают над тем, чтобы адаптировать существующий метод для работы с трёхмерной моделью руки. В этом случае система позволит распознавать сотни жестов, а также манипулировать трёхмерными объектами – как виртуальными, так и реальными.

Алексей Куракин уверен: технология компьютерного распознавания жестов вскоре получит широкое распространение. Он отмечает, что над этой проблемой активно работают учёные во всём мире. Но большинство технологий связано со специальной перчаткой, которую надевают на руку (например, разноцветной – в проекте Массачусетского технологического института или оснащённой датчиками – в проекте CyberGlove), а программа исследователей из МФТИ способна распознавать обычную ладонь.

Смогут ли технологии распознавания жестов полностью вытеснить привычную компьютерную мышь?

«В ближайшее время вряд ли, – говорит Куракин. – Но в тех приложениях, где это удобнее, можно будет обходиться без неё».

Источник информации:

Доклад «Распознавание жестов ладони на основе анализа силуэта ладони» и интервью с докладчиком Алексеем Куракиным на 53-й научной конференции МФТИ.