Группа ученых из Франции и Италии разработала систему визуализации движений языка и гортани в реальном времени, для чего используется аппарат УЗИ и программное обеспечение, обрабатывающее поступающие данные. Исследование опубликовано в Speech Communication.

При изучении иностранных языков человеку порой бывает сложно понять, как именно издать конкретный звук. Устное описание («сделайте язык ложечкой») не всегда приводит к нужному результату. Также можно показать учащемуся изображение, схематично показывающее нужное положение языка, но не всем удается уверенно соотнести картинку с движениями собственного языка. Похожая задача стоит перед врачом и пациентом при реабилитации после хирургического вмешательства, если был затронут язык.

Diandra Fabre et al., / Speech Communication

В новой работе исследователи предложили преодолеть этот барьер с помощью аппапата УЗИ и машинного обучения. Для тренировки алгоритма использовались показания УЗИ, записанные с помощью тренированного человека правильно произносил слоги и издавал отдельные звуки. Для сопоставления УЗИ с движениями языка при обучении системы также использовались данные, полученные с помощью МРТ, на которых движения «в разрезе» отслеживались с помощью трех маячков, расположенных на корне, в середине и на кончике языка.

Diandra Fabre et al., / Speech Communication

При этом система, по утверждению авторов, не требует полноценного переобучения под нового пользователя — достаточно небольшой калибровки с учетом морфологии, для чего нужно произнести несколько тестовых фраз. После этого система готова в режиме реального времени схематично отображать работу речевого аппарата при артикуляции. При ошибочной артикуляции программным обеспечением каких-либо фонем исследователи предлагают в качестве одного из решений вручную настраивать параметры отображения «говорящей головы».

На данном этапе работа системы носит скорее демонстрационный характер и тестировалась в лаборатории, однако в будущем исследователи планируют продолжить тестирование системы на нескольких людях, которые действительно будут изучать незнакомый язык, а также на пациентах, перенесших операцию на языке. 

Ранее другая группа исследователей использовала машинное обучение для того, чтобы оценить возможную продолжительность жизни больных с легочной гипертензией.

Автор: Николай Воронцов