Портативная и неинвазивная установка «расшифровывает» мысли на основе электроэнцефалограммы. Исследователи из Сиднейского технологического университета разработали первую в мире портативную неинвазивную систему, которая может декодировать мысли и превращать их в текст. Технология в будущем поможет общаться людям, которые не могут говорить из-за болезни или травмы, например, после инсульта или вследствие паралича.

Инженеры продемонстрировали работу устройства на конференции NeurIPS в Новом Орлеане. Во время доклада участники молча читали отрывки текста, надев «шапочку», которая записывала электрическую активность мозга через кожу головы с помощью электроэнцефалограммы (ЭЭГ).

Волна ЭЭГ сегментируется на отдельные блоки, которые улавливают определенные характеристики и закономерности человеческого мозга. Это делается с помощью модели искусственного интеллекта под названием DeWave, разработанной сиднейскими учеными. DeWave, обученная на большом массиве ЭЭГ, переводит сигналы в слова и предложения.

Это исследование представляет собой новаторскую попытку перевода необработанных волн ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в этой области, – Чин Тэнг Лин, руководитель исследования.

Существующие технологии перевода сигналов мозга в язык требовали либо имплантации электродов в мозг, либо сканирования на аппарате МРТ. Первый метод очень опасный и дорогой, второй сложный и недоступный для повседневного использования, отмечают ученые. Кроме того, эти методы с трудом преобразуют сигналы мозга в слова без дополнительных средств, например, отслеживания взгляда.

В исследовании Сиднейского технологического университета приняли участие 29 человек. Использование сигналов ЭЭГ, полученных с помощью «шапки», а не от электродов, имплантированных в мозг, делает сигнал более шумным и искаженным. Но анализ показал, что DeWave демонстрирует способность дешифровать текст не хуже инвазивных методов.

Показатель точности перевода по системе BLEU-1 в настоящее время составляет около 40%. Оценка BLEU измеряет сходство переведенного машиной текста с набором высококачественных справочных переводов. Исследователи надеются, что по мере обучения ИИ этот показатель улучшится до уровня, сравнимого с традиционными программами языкового перевода или распознавания речи, который приближается к 90%.