Нейрофизиологи улучшили систему, которая при помощи глубокого обучения и языковой модели преобразовывает активность мозга парализованных людей в предложения: она может быть использована людьми, которые полностью потеряли речь, а ее словарь составляет 1152 слова.

Описание системы и результаты ее тестирования на пациенте с анартрией опубликованы в Nature Communications.

Некоторые болезни и серьезные травмы могут приводить к потере речи. И если при некоторых расстройствах пациент не может формулировать предложения (как, например, при афазии Брока), то при параличе теряется возможность их артикулировать в связи с потерей мышечной силы.

Одно из направлений помощи людям с параличом касается разработки систем для взаимодействия с другими людьми. Благодаря тому, что мозг таких людей способен все еще способен создавать сигналы для соответствующего движения мышц (но не производить сами движения), системы преобразования сигнала способны декодировать активность мозга. В числе исследователей, занимающихся такими разработками, и команда американских нейрофизиологов и инженеров, которые создали систему, в которой мозговой имплантат считывает активность нейронов в речевых моторных зонах и преобразовывает их в целые фразы.

Теперь та же команда при участии Эдварда Чанга (Edward F. Chang) из Калифорнийского университета расширила прошлое исследование и дополнила систему преобразования речи.

В разработке и тестировании системы в прошлой работе авторов и нынешнем проекте принимал участие один пациент с анартрией (отсутствием речи, связанным с поражением нервно-мышечного аппарата), которому на момент начала исследования было 36 лет. Так как у пациента оставалась способность производить некоторые звуки (например, мычание), с прошлой системой он контролировал нейропротез, пытаясь говорить вслух, а словарь составлял всего 50 слов.

В новом исследовании авторы собрали данные активности мозга участника во время прохождения двух задач. В первой задаче по определенному сигналу ему нужно было пытаться произнести слово или букву, которые появлялись на экране, про себя или вслух, в зависимости от пробы. Если же на экране было слово «право» и стрелка, указывающая направо, участнику нужно было попытаться сжать правую руку. Исследователи использовали эти данные для тренировки и оптимизации моделей для детекции и классификации сигналов.

Во втором задании участнику нужно было постараться произнести фразу, показанную на экране, или произвольную фразу, в зависимости от пробы. Эти данные затем использовали для дополнительной оптимизации модели и ее оценки.

Тестирование модели со словарем в 1152 слова показало медианную ошибку в 6,13 процента для декодирования букв и 10,53 процента для декодирования слов. Из 150 предложений 70 процентов были декодированы без ошибок, медианная скорость декодирования была 29,41 буквы и 6,86 предложения в минуту. Это оказалось быстрее, чем вспомогательное устройство, которое пациент использовал в обычной жизни.

Авторы также проверили разницу в активации нейронов и работе системы преобразования при попытке произнести слова вслух и про себя. Они обнаружили, что несмотря на схожие паттерны активности, эти процессы не идентичны: тренинг и тестирование, проведенные на одних и тех же данных, показали более высокую точность преобразования речи, чем перекрестная проверка (p < 0,01).

Таким образом, авторам удалось улучшить систему преобразования речи, расширив словарь и обучив модель обрабатывать активацию нейронов при попытке произнесения слов про себя (без использования каких-либо звуков). Это означает, что система сможет помочь и людям, которые полностью парализованы и не могут производить звуки при попытке произнести фразу, а симуляция данных, показала, что словарь системы может быть расширен и до 9170 слов, что позволит пациентам свободно общаться.