Специалисты из Сколтеха, INRIA и RIKEN Advanced Intelligence Project исследовали возможности нескольких современных алгоритмов машинного обучения по решению определения умственной нагрузки и аффективных состояний человека. Разработанное программное обеспечение может быть использовано при создании более «умных» интерфейсов мозг-компьютер (ИМК), которые могут найти применение в медицине и других областях.

Результаты исследования опубликованы в журнале IEEE Systems, Man, and Cybernetics. ИМК обеспечивает связь между мозгом человека и компьютером, позволяя человеку управлять различными устройствами, такими как рука робота или инвалидное кресло, по сигналу, поступающему от головного мозга (активный ИМК).

ИМК также позволяет отслеживать и классифицировать психоэмоциональные состояния человека (пассивный ИМК). Сигналы мозга, поступающие в ИМК, как правило, измеряют при помощи электроэнцефалографии (ЭЭГ) – распространенного неинвазивного метода измерения электрической активности головного мозга.

Получаемые в результате ЭЭГ «сырые» данные в виде непрерывных сигналов должны подвергнуться достаточно основательной обработке, прежде чем они смогут обеспечить точное определение умственной нагрузки и аффективных состояний человека, что является необходимым условием для корректной работы пассивного ИМК.

Имеющиеся на сегодняшний день экспериментальные данные свидетельствуют о том, что точность этих измерений недостаточна даже для решения таких простых задач, как определение различия между высокой и низкой умственной нагрузкой, не говоря уже об их использовании в практических приложениях.

«Такая низкая точность измерений обусловлена чрезвычайно сложным устройством человеческого мозга. Представьте себе, что наш мозг – это огромный оркестр, в котором участвуют тысячи инструментов, а нам нужно при помощи ограниченного числа микрофонов и датчиков выделить характерное звучание каждого отдельного инструмента», − отметил один из авторов статьи, профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE) Анджей Чихоцкий.

Из этого следует, что для решения задач классификации данных ЭЭГ и распознавания различных паттернов головного мозга требуются более надежные и точные алгоритмы. Профессор Чихоцкий и его коллеги рассмотрели две группы алгоритмов машинного обучения, классификаторов на основе римановой геометрии (RGC) и сверточных нейронных сетей (CNN), которые неплохо зарекомендовали себя в активных ИМК.

Исследователи решили выяснить, справятся ли эти алгоритмы не только с так называемыми воображаемыми двигательными задачами, в которых испытуемый представляет в своем воображении определенные движения конечностей, в реальности не совершая их, но и с задачами оценки умственной нагрузки и аффективных состояний.

Ученые провели своего рода «конкурс» для семи алгоритмов, два из которых ученые разработали самостоятельно путем оптимизации хорошо зарекомендовавших себя римановых алгоритмов. В одном из двух экспериментов использовалась типичная для ИМК схема, в которой алгоритмы сначала обучались на данных об определенном испытуемом, а затем на нем же и тестировались.

Второй эксперимент проводился без привязки к определенному испытуемому, а эта схема гораздо сложнее, так как у разных людей активность мозга может быть очень разной. В экспериментах использовались реальные данные ЭЭГ из более ранних экспериментов одного из авторов статьи Фабьена Лотте и его коллег, а также база данных DEAP, где собраны данные по анализу эмоциональных состояний человека.

Ученые обнаружили, что глубокая нейронная сеть обошла всех своих «конкурентов» в решении задачи оценки умственной нагрузки, но при этом плохо справилась с задачей классификации эмоциональных состояний, а вот два алгоритма с римановой оптимизацией неплохо проявили себя в решении обеих задач.

В статье авторы делают вывод о том, что использовать пассивный ИМК для классификации аффективных состояний гораздо сложнее, чем для оценки умственной нагрузки, а калибровка алгоритма без привязки к определенному испытуемому пока дает существенно более низкую точность.

«На следующих этапах исследования мы планируем использовать более сложные методы на основе искусственного интеллекта (ИИ) и, в первую очередь, методы глубокого обучения, с помощью которых можно выявлять самые незначительные изменения в сигналах и паттернах мозга.

Глубокие нейронные сети можно обучать на больших наборах данных, содержащих информацию о большом количестве испытуемых, различных тестовых сценариях и условиях испытаний. Искусственный интеллект, создание которого стало настоящей революцией, может оказаться весьма полезным для ИМК и решения задач распознавания человеческих эмоций», − сказал Чихоцкий.