Блог компании SkillFactory, автор оригинала: Vegard Flovik. Машинное обучение в классификации психических состояний с использованием данных ЭЭГ. Бионические протезы, работающие на основе выводов ИИ о сигналах мозга, стали реальностью уже вчера. Материалом, в котором кандидат наук в области физики на простом примере показывает, что у этих протезов под капотом, делимся к старту флагманского курса по Data Science.

ИИ, который читает ваши мысли

Да, это может звучать как сюжет научно-фантастического фильма про антиутопическое будущее. Однако благодаря недавнему прогрессу эта технология стремительно переходит из разряда научной фантастики в настоящую науку.

Автономное неинвазивное измерение активности мозга потенциально полезно во многих областях, таких как человеко-машинное взаимодействие или психиатрическая помощь. Оно может предоставить дополнительную информацию о взаимодействии между пользователем и устройством, а также позволит получать значимую информацию, не зависящую от вербального общения.

Такие инновации также означают большие возможности для интерфейсов «мозг — компьютер». Они открывают совершенно новые платформы для общения человека с машиной, в том числе для помощи людям с физическими или психическими расстройствами. Интерфейс «мозг — компьютер» может позволить парализованному человеку двигать роботизированной рукой, а человеку с травмой спинного мозга — управлять инвалидной коляской с электроприводом.

С ростом доступности недорогих устройств для электроэнцефалографии (ЭЭГ) данные о мозговых волнах становятся доступными для потребительской промышленности и для исследований, что приводит к необходимости автономной классификации без нужды в присутствии эксперта.

Я расскажу о том, как машинное обучение можно использовать для анализа активности мозга. С помощью записей ЭЭГ с имеющихся в продаже устройств я показываю, как можно использовать модели машинного обучения для прогнозирования психического состояния субъекта.

Машинное обучение для классификации психических состояний

Запись высококачественных данных ЭЭГ — непростая задача, если вы не связаны с лабораторией, которая проводит такие эксперименты. Однако недавно я наткнулся на интересную статью «Исследование классификации психических состояний с использованием интерфейса мозг-машина на основе ЭЭГ» Джордана Дж. Берда, Луиса Дж. Мансо, Эдуардо П. Рибьеро, Анико Экарт и Диего Р. Фариа. К счастью, они открыто поделились данными, которые использовали в своём исследовании, чтобы экспериментировать смогли другие люди. Что особенно интересно, на мой взгляд, так это использование устройств потребительского класса, которые можно просто заказать на Amazon за пару сотен долларов. Методы записи и обработки данных из их исследования рассматриваются в следующем разделе.

Детали эксперимента

В исследовании используются четыре сухих экстракраниальных электрода, расположенных на нейрообруче MUSE EEG, который можно найти в свободной продаже. Это носимое устройство, измеряющее активность мозга с помощью 4 датчиков для электроэнцефалографии (ЭЭГ). Чтобы вызвать различные психические состояния, в эксперименте использовалась подборка видеоклипов, представляющих положительную и отрицательную валентность. Их вы видите в таблице ниже.

Видеоклипы, используемые в качестве стимулов для сбора данных ЭЭГ

Для каждого из 6 видеоклипов из таблицы ниже у двух испытуемых (1 мужчина, 1 женщина, 20–22 лет) было записано по 60 секунд данных ЭЭГ, что дало 12 минут данных об активности мозга (по 6 минут для каждого эмоционального состояния). Также были собраны данные 6 минут мозговых волн в покое (по 3 минуты в разные дни, чтобы уменьшить влияние эмоций на ЭЭГ в состоянии покоя), в результате чего получилось в общей сложности 36 минут данных ЭЭГ. С частотой, передискретизированной до 150 Гц, это привело к набору данных из 324 000 точек данных.

Предлагаемый набор признаков для сигналов ЭЭГ

Извлечение признаков и классификация сигналов ЭЭГ — основные проблемы в приложениях интерфейса «мозг — компьютер» (BCI). Одной из главных проблем, когда дело доходит до выделения признаков ЭЭГ, является сложность сигнала, поскольку он носит нелинейный, нестационарный и случайный характер. Сигналы считаются стационарными только в пределах коротких интервалов, поэтому наилучшая практика — использовать кратковременное преобразования Фурье с оконной функцией для удовлетворения этого требования. Однако это считается допущением, которое справедливо для волн мозга в его нормальном состоянии.

Пример ЭЭГ-потока в реальном времени от четырёх датчиков Muse. Канал right AUX не был подключён и транслировал только шум, поэтому его данные исключили из анализа. График в реальном времени показывает по оси Y амплитуду волны в микровольтах при t = 0 на каждом электроде, а по оси X — время в секундах.

В этом подразделе описывается набор признаков, которые считаются адекватными для различения классов психических состояний. Эти признаки основаны на статистических методах, частотно-временных характеристиках, основанных на быстром преобразовании Фурье (БПФ), энтропии Шеннона, максимальных и минимальных характеристиках во временных последовательностях и т. д. Все признаки, предлагаемые для классификации психических состояний, вычисляются с точки зрения временного распределения сигнала в заданном временном окне. Это скользящее окно определяется как период в 1 секунду, т. е. все признаки вычисляются в этот момент. Узнать об извлечении признаков больше можно в оригинальной статье.

Алгоритм машинного обучения

После применения описанного выше подхода к извлечению признаков из необработанных данных ЭЭГ у нас остался набор данных, содержащий 2548 признаков. Для каждой строки набора данных у нас есть соответствующая целевая переменная: «нейтральное», «отрицательное» или «положительное». Наша цель — обучить машинную модель, основанную на этом наборе признаков, успешному прогнозированию соответствующего психического состояния.

В этом примере я начал с одного из моих любимых алгоритмов, классификатора «случайного леса», поскольку он прост в настройке и часто довольно хорошо работает «из коробки», без особого подбора гиперпараметров.

Также было бы интересно попробовать подход свёрточной нейронной сети к необработанным данным во временной области, а не к набору извлечённых признаков, которые включают в себя различные частотные характеристики сигнала. Поскольку свёртки, которые применяются во временной области, тесно связаны с частотными характеристиками сигнала посредством теоремы свёртки, это может стать многообещающим подходом к уменьшению объёма предварительной обработки и выделения признаков.

Кросс-валидация

Одна из первых вещей, которую вы узнаете, когда начнёте заниматься машинным обучением — это важность кросс-валидации. Кросс-валидация — это оценка производительности модели на части набора данных отдельно от набора, который вы использовали в обучении модели. Один из способов провести кросс-валидацию — заблокировать части набора данных при обучении вашей модели и оценить производительность обученной модели, используя, например, следующий подход:

• обучите модель на 70% размеченных данных;
• оцените обученную модель на оставшихся 30% данных.

K-блочная кросс-валидация позволяет делать это несколько раз, чтобы вы видели, меняется ли тестовая производительность в зависимости от образцов данных для обучения/тестирования.

Выполнив сравнение результатов обучения и тестирования несколько раз, вы уточните оценку производительности модели и проверите, не сильно ли отличается работа модели после обучения на разных сегментах ваших размеченных данных. Это отличие само по себе может указывать на нестабильность модели или на слишком маленький набор обучающих данных.

В моём случае при обучении модели я выполнил 10-блочную кросс-валидацию и рассчитал точность, оцениваемую для разных сегментов данных. Окончательную производительность модели можно показать с помощью матрицы путаницы:

Матрица путаницы: реальные vs предсказанные эмоциональные состояния

В области машинного обучения и, в частности, в задаче статистической классификации матрица путаницы, также известная как матрица ошибок, представляет собой особый макет таблицы, который позволяет показать производительность алгоритма. Каждая строка матрицы представляет экземпляры классов уже существующих данных, а каждый столбец — экземпляры в прогнозируемом классе. Название этой матрицы связано с тем, что с её помощью легко увидеть, не путает ли система классы экземпляров.

Окончательные результаты, полученные при оценке прогнозов модели во время 10-блочной кросс-валидации, показали довольно впечатляющую точность 0,987 (+/- 0,01). Это означает, что на основе набора признаков, извлечённых из необработанных данных ЭЭГ, мы можем с точностью, близкой к 99%, предсказать психическое состояние человека как «нейтральное», «отрицательное» или «положительное».

Кратко о результатах

Эти результаты на самом деле очень впечатляют, однако, когда дело доходит до прогнозирования эмоциональных состояний по записям ЭЭГ, если речь идёт о более продвинутых приложениях, то всё ещё есть куда стремиться. Кроме того, ограниченный размер выборки (всего два испытуемых) ставит вопрос о применимости результатов к другим людям. Тем не менее этот случай показывает очень многообещающие результаты, а значит, представляет хорошую отправную точку для дальнейших исследований.

Перспективы

Приближаемся ли мы к антиутопическому научно-фантастическому будущему полного контроля над разумом, где люди вынуждены отказаться от конфиденциальности даже собственных мыслей?

Способность ИИ считывать активность мозга человека поднимает серьёзные этические проблемы, связанные с безопасностью данных. Об этих проблемах должны знать руководители исследований. Технология открывает ящик Пандоры с новыми вредоносными применениями, например, кражей конфиденциальной информации из вашего мозга после того, как вас заставят думать о ней. В статье, опубликованной в журнале Nature, описывается недалёкое будущее, когда «будет возможно расшифровывать мыслительные процессы людей и напрямую манипулировать механизмами мозга, лежащими в основе намерений, эмоций и решений».

Тем не менее прорывы в этой области — ещё один важный шаг на пути к расшифровке мозговых паттернов в основе мышления. Такие инновации также означают лучшее взаимодействие между мозгом и компьютером, откроет совершенно новые перспективы коммуникации человека и машины. «Умные протезы», как на видео ниже, могут стать огромным шагом вперёд для людей с ограниченными возможностями во всём мире:

Хотя я считаю себя «технооптимистом», но всё же полагаю, что нужны правила, позволяющие убедиться, что технология помогает тем, кто в ней нуждается, без катастрофических последствий.

Можно только догадываться, что ждёт нас в будущем, но несомненно то, что мы, умышленно или неумышленно, найдём больше способов взаимодействовать с компьютерами. Интерфейсы на основе ИИ открывают огромное количество возможностей, но и создаёт не меньше сложностей.