Технологии развиваются очень быстро, причем практически по всем направлениям, включая ИИ. Сейчас постепенно начинают появляться платформы, способные улучшить качество жизни людей с различными проблемами со здоровьем – зрением, нервной системой, слухом и речью. Разработчики создают программы и сервисы, которые помогают людям со слабым зрением. Например, благодаря Seeing AI люди с ослабленным зрением могут без особых усилий читать почту, располагая корреспонденцию под камерой смартфона.

Тем не менее, в большинстве случаев проще всего решить часть проблем людей с проблемами слуха и речью. Недавно разработчики из США представили ИИ-систему, которая дает возможность понимать язык жестов и общаться с глухонемыми людьми. Она же позволяет и людям с проблемами слуха и речи общаться между собой или с теми, у кого нет проблем ни со слухом, ни с речью. Есть и другие проекты. Обо всем этом – под катом.

Что это за девайс?

Это smart-устройство, которое помогает глухим людям без проблем общаться как с теми, кто хорошо слышит, так и между собой. Устройство распознает язык жестов и переводит в текст и речь. Кроме того, устройство способно распознавать речь и переводить ее в текст, отображаемый на ЖК-экранах очков. Девайс представляет собой систему из очков с наушниками. Очки оснащены камерой и, как и упоминалось выше, ЖК-экраном. Плюс есть слот для SD-карты.

«Очки» работают в качестве индивидуальной системы сурдоперевода, преобразуя язык жестов в текст и аудиопоток. Что касается аудио, то оно усиливается для тех пользователей, которые слышат, но плохо. Громкость звука в наушниках корректируется в соответствии со степенью поражения слуха пользователя.

Распознают язык жестов датчики на передней панели устройства. Они отслеживают трехмерные координаты рук, преобразуя движение в цифровой сигнал, передающийся на микроконтроллер. Внутри – база данных о разных жестах и их значении.

Микроконтроллер включает также ЦП и АЦП. Аналоговые данные преобразовываются в цифровые сигналы, которые затем сопоставляются с шаблонами базы данных. В результате работы девайса язык жестов преобразуется в обычную речь, которая и звучит в наушниках. Система – лишь прототип устройства для понимания языка жестов. Такой девайс может быть крайне полезен для родителей глухих или глухонемых детей, родителей, которые при этом хорошо слышат и могут без проблем говорить. В большинстве случаев людям без проблем с речью и слухом сложно изучить все нюансы языка жестов, поэтому возникают проблемы с коммуникацией.

Более того, люди, которые плохо слышат, оказываются в крайне невыгодной ситуации, находясь в незнакомом месте. Им сложно узнать дорогу, спросить о чем-то еще или просто пообщаться. По статистике, только у 2% людей с проблемами со слухом и речью есть все необходимое для организации нормальной коммуникации с окружающими. Все остальные, соответственно, ограничены в той либо иной степени в возможности коммуницировать с обществом.

Как работает устройство?

Оно способно преобразовывать и обычную речь, правда, не в язык жестов, а в текст, который показывается на ЖК-экране очков, так что глухонемой человек может понимать, что ему говорят окружающие. Кроме того, если пользователь способен слышать хоть в небольшой степени, он использует наушники, через которые проходит усиленный специальным модулем звук. В целом, такое устройство – отличный вариант для создания универсальных систем, помогающих наладить надежный канал связи.

Другие проекты

Кроме уже названной системы, которая пока что находится на начальной стадии подготовки, есть и другие проекты. Например, ученые из Института проблем управления им. В.А. Трапезникова РАН (ИПУ РАН) разрабатывают уникальную систему для слабослышащих и глухих людей, которая с помощью искусственного интеллекта сможет переводить жестовый язык в слова, фразы и буквы.

«Мы применяли для распознавания жестов искусственный нейронный кортекс (группа нейронов, ответственная за принятие решений). Он может распознавать статические жесты. Дактильную азбуку он уже распознает. В будущем планируем довести эту разработку до автоматического сурдопереводчика. Полностью заменить человека это не сможет, но в каких-то случаях поможет людям с проблемами слуха», — сообщил разработчик системы Маис Фархадов.

Еще одна отечественная разработка – устройство распознавания речи «Чарли», которое также базируется на возможностях ИИ. Согласно статистическим данным, потерей слуха в той либо иной мере страдает около 13 млн человек в РФ. Ухудшение слуха занимает следующее после болезней сердца место в списке проблем со здоровьем.

Компания «Сенсор-Тех» создала девайс, который позволяет людям с нарушением слуха дистанционно учиться и работать. Так, лектор в ВУЗе может положить это устройство рядом с собой, а специальный софт будет преобразовывать речь в текст, отправляя информацию на специализированный сайт.

Есть, конечно, и проекты, разрабатываемые крупными компаниями. Пример – корпорация IBM и ее виртуальные аватары, которые переводят речь в жесты. Этот проект начали реализовывать еще в начале векаю На разработку ушло много месяцев. Получившаяся система, несмотря на неплохую эффективность, все же имеет недостатки. Например, люди, знающие и использующие жестовый язык, пока относятся к аватарам с недоверием, поскольку в сравнении с человеком они не могут передать выразительность и точность жестовой речи. В жестовом языке должна быть очень высокая точность исполнения жестов, и каждое незначительное движение может изменить их значения. Но как бы там ни было, проект продолжает развиваться.

В качестве вывода стоит сказать, что подобных проектов становится все больше – уже сейчас есть системы, которыми могут воспользоваться люди с проблемами слуха и речи. А в ближайшем таких систем станет еще больше, так что одной проблемой у слабослышащих или глухих людей станет меньше.