Американские ученые представили Brain2Char — алгоритм, который переводит активность мозга при производстве речи в письменный текст. Система, основанная на работе нейросетей с долгой краткосрочной памятью и открытого декодера, обучена на данных электрокортикографии, полученных при речевом производстве, и может переводить в текст даже беззвучную речь. Препринт статьи с описанием работы алгоритма опубликован на arXiv.

Современные технологии позволяют считывать активность головного мозга и синтезировать на ее основе другие сигналы, которые можно использовать для создания нейроинтерфейсов — например, для управления протезами. Подобные системы, в частности, используются для того, чтобы вернуть пациентам утерянную речь, и за последний год конкретно в это области был достигнут внушительный прогресс.

В январе этого года американским ученым удалось создать алгоритм, который декодирует активность аудиторной коры головного мозга при прослушивании цифр в речь: результат получился разборчивым в 86 процентах случаев. Позже другая группа ученых из Калифорнийского университета в Сан-Франциско под руководством Эдварда Ченга (Edward Chang) представила прототип инвазивного электрокортикографа, который считывает активность коры головного мозга в процессе производства речи и синтезирует на ее основе то, что было сказано.

В новой работе группа под руководством Ченга решила обучить алгоритм другой задаче — восстановлению текста на основе активности мозга при производстве речи.