Одним из важнейших аспектов выживания вида является общение между его представителями. Информация, передаваемая от одного организма к другому, может быть закодирована в виде химических сигналов, визуальных стимулов или звуковых волн. Дабы общаться между собой животным необходимы голосовые связки (или аналогичные им по функционалу органы), а также достаточно развитая ЦНС, способная не только воспринимать звуки, но и декодировать заложенное в них послание.

Человека от его соседей по планете отличает не только развитый интеллект, умение пользоваться и создавать инструменты, прямохождение и т.д., но и очень развитая звуковая коммуникация — другими словами, речь. С помощью речевого общения мы получаем друг от друга львиную долю информации, посему возможность крайне важна.

Однако в некоторых случаях человек ввиду травмы, заболевания или врожденных дефектов лишен возможности воспроизводить слова, несмотря на то, что в его мозге они формируются вполне нормально. Один из вариантов такой патологии является анартрия, т.е. расстройство речи ввиду нарушения артикуляции, вызванного поражением мышц или нервов.

Ученые из калифорнийского университета (Сан-Франциско, США) создали систему нейропротезирования, преобразующую сигналы мозга в текст, отображаемый на экране. Какие фундаментальные техники были использованы для реализации системы, кто стал первым ее пользователем, и насколько эффективна система преобразования речи? Ответы на эти вопросы мы найдем в докладе ученых.

Основа исследования

Тело человека это удивительный механизм, в котором все работает по определенной схеме. Сложные процессы протекают практически мгновенно, позволяя нашим конечностям двигаться, органам чувств воспринимать внешние сигналы, мозгу обрабатывать и хранить информацию и т.д. Однако, как и в любом механизме, в теле человека могут возникнуть поломки, нарушающие его работу. Некоторые травмы или заболевания могут приводить к полному отказу какой-либо системы, в других же случаях лишь часть системы перестает работать так, как положено.

К таким случаям относится и анартрия, когда человек не может артикулировать слова, хотя в подновляющих случаях способен формировать их у себя в мозге и даже производить ограниченные оральные движения и недифференцированные звуки при попытке говорить. Анартрия может быть результатом различных заболеваний и травм, в том числе инсульта (острое нарушение кровоснабжения головного мозга) или бокового амиотрофического склероза (прогрессирующее, неизлечимое дегенеративное заболевание центральной нервной системы, когда поражены верхние и нижние двигательные нейроны, что приводит к параличам и атрофии мышц).

За последние годы было достигнуто немало успехов в создании интерфейсов мозг-компьютер, позволяющих людям с нарушениями речи составлять сообщения по буквам, управляя курсором компьютера. Однако такой вариант, который работает за счет записей нейронных сигналов, крайне медленный и требует от пользователя больших усилий. По мнению авторов исследования, куда проще и эффективнее было бы прямое декодирование целых слов (а не отдельных букв) из областей мозга, контролирующих речь.

Проблема многих методик преобразования нейронных сигналов в слова заключается в том, что записи нейронной активности не могут быть точно согласованы с предполагаемой речью из-за отсутствия речевого вывода, что усложняет машинное обучение. Кроме того, остается неясно сохраняются ли нейронные сигналы, связанные с контролем речи, у пациентов, которые не говорили в течение нескольких лет, а то и десятилетий.

Чтобы выяснить, можно ли напрямую декодировать речь из нейронной активности человека, авторы рассматриваемого нами сегодня труда протестировали декодирование слов и предложений в реальном времени на основе корковой активности человека с параличом конечностей и анартрией, вызванной инсультом ствола головного мозга.