В конце мая в Москву приезжает израильский ученый, специалист по нейробиологи и машинному обучению, Натан Интратор (Nathan Intrator) для участия в конференции YaC, которую проводит компания «Яндекс». Интратор — не только ученый, но и бизнесмен, основатель компании NeuroSteer, которая занимается разработкой мобильных устройств для сканирования работы головного мозга. Мы побеседовали с Натаном о его разработках и о тех научных идеях, которые за ними стоят. Интервью вышло большим, поэтому мы решили разбить его на две части. В первой мы поговорим о том, как, при помощи искусственных нейронных сетей можно изучать нейросети биологические, а также узнаем, какое отношение ко всему этому имеют кроты и дельфины.

Натан Интратор выступит 30 мая в Москве на конференции YaC в рамках секции Digital Health с докладом на тему “Mobile brain monitoring: Patient, Doctor and Pharma perspective”. Мероприятие бесплатное, зарегистрироваться можно по этой ссылке.

Мозг как оркестр

Натан, расскажите, пожалуйста, в двух словах, про NeuroSteer: что это за устройство и для чего вы планируете его применять?

Речь идет об устройстве, позволяющем сканировать деятельность головного мозга, которое при этом выгодно отличается от имеющегося сегодня оборудования своей миниатюрностью. С помощью нашего сканера можно «прочесть» мозг так, чтобы извлечь информацию, которая пригодилась бы в медицинских приложениях или помогала развивать наш мозг. Сейчас мы больше концентрируемся на областях, связанных с медициной, и нашей конечной целью можно считать создание прикроватного монитора для использования в неврологии, а также в реабилитационных центрах для людей с травмами головного мозга. А поскольку наш сенсор — это очень компактное, носимое устройство с минимальным количеством электродов, то его можно взять с собой домой, да и вообще куда угодно. Информацию, которую мы получаем, можно использовать в случаях, когда требуется принять решение о необходимости медицинского вмешательства, а также в ситуациях иного воздействия на мозг: стимуляции, нейронного отклика и так далее.

Так выглядит NeuroSteer.

Как вы пришли к этой идее?

В рамках академической карьеры мне приходилось много работать с традиционными методами анализа головного мозга — с электроэнцефалографией (ЭЭГ), функциональной магнитно-резонансной томографией (фМРТ) и их комбинациями. Спустя несколько лет я понял, что с помощью ряда продвинутых математических методов из этих сигналов можно извлечь существенно больше информации, чем обычно, причем одновременно можно еще и уменьшить количество используемых при ЭЭГ электродов. Убедившись, что метод действительно работает и имеет практическую ценность, я взял паузу в университете и занялся коммерческой реализацией этого инструмента. Так родился NeuroSteer.

То есть основа метода у вас та же — ЭЭГ, просто электродов меньше? Сколько их вы используете?

Мы используем всего два электрода, то есть наша концепция радикально отличается от традиционной реализации метода ЭЭГ, когда множество электродов размещают на разных участках мозга и анализируют сигнал каждого из них по отдельности. Наш метод проще всего сравнить с походом на музыкальный концерт: вы сидите далеко от сцены и у вас всего два уха (или даже одно), но при этом вы слышите весь оркестр. То есть вы буквально можете разделять партии различных музыкальных инструментов у себя в голове, вместо того чтобы устанавливать несколько микрофонов возле каждого музыканта.

Вот так работает и наш метод: различные функциональные нейронные сети, — отличающиеся положением в коре головного мозга, топологией, размером сети, типом синапсов, — обладают уникальными характеристиками, выделяющимися на фоне общего сигнала. В музыке подобные характеристики называются окраской, или тембром. И точно так же, как мы можем разделить звучание разных инструментов и проанализировать все музыкальное произведение, — кстати, этому навыку надо довольно долго учиться, ребенок, например, так не умеет, — мы в NeuroSteer стараемся разделить функциональные нейронные сети, опираясь на их характерные колебания.

И вы пытаетесь разложить «на отдельные инструменты» исходный ЭЭГ-сигнал ,полученный от двух электродов, с помощью статистических методов обучения?

Речь идет о сочетании статистики, методов обработки сигналов и гармонического анализа. Этим наш подход, вероятно, и отличается от более традиционных методов. Большинство научных групп в этой области обычно использует спектральный анализ, который выделяет лишь различные частоты колебаний всигнале. В гармоническом же анализе частотно-временные характеристики изучаются более детально. Например, описываются волновые всплески («вейвлеты», wavelet), хотя даже на них все не заканчивается.

На выходе мы получаем разложение исходного сигнала, что-тов роде партитуры музыкального произведения, а в нашем случае — разложение по различным функциональным нейронным сетям. Хотя это еще нужно окончательно доказать, требуется еще много базовых исследований. Но, тем не менее, мы разделяем исходный сигнал на более чем 100 различных компонент и пытаемся понять, коррелируют ли эти компоненты с поведением, различными состояниями мозга,которые можно отследить другими методами.

На рекламном видео интерфейс NeuroSteer отображался ввиде цветовой или температурной карты. Правильно ли я понимаю, что каждая точка карты соответствует активности определенной функциональной нейросети?

Да, мы используем подход из функциональной МРТ или даже изобычной ЭЭГ, то есть смотрим на интенсивность различных частот. Так что по сутимы фиксируем энергию, или статистическую меру активности, каждой компоненты разложенного сигнала, и эти точки на цветовой карте соответствуют разным компонентам.

Цветовая карта NeuroSteer

«Рамки» для нейросетей

Применяете ли вы в NeuroSteer методы машинного обучения или основываетесь на «чистом» статистическом гармоническом анализе?

Мы просто не смогли бы продвинуться без искусственных нейросетей (ИНС). Взгляните на традиционный набор методов обработки сигналов: спектральному анализу уже 250 лет, вейвлеты появились в конце 1970-х, спустя десять лет после разработки алгоритма FFT (быстрое преобразование Фурье, — прим. ред.). Оба этих метода производят предобработку сигнала, ортогональное разложение, за время порядка n log(n) (где n — длина сигнала или ширина считывающего окна), но при этом оба метода не адаптируются к исходному сигналу. Что гармонический анализ и Рональд Койфман внесли в эту область в начале 1990-х годов, так это алгоритмы, способные адаптироваться к данным и перебирать экспоненциально растущее число ортогональных разложений все за то же время порядка n log(n).

Этот алгоритм оказался огромным прорывом по сравнению с простой теорией вейвлетов, а главное — он адаптивен по отношению к исходному сигналу. Мы с моим студентом Николо Неретти несколько модифицировали этот подход и добавили возможность изменять исходный вейвлет, чтобы еще больше подстроиться под сигнал ЭЭГ. Это похоже на то, что делают в машинном обучении, когда ищут модель, описывающую данные. В нашем случае мы делаем то же самое, опираясь на определенные ограничивающие «рамки» (constraints), полученные при помощи гармонического анализа.

Так что мы сочетаем два метода: с одной стороны, анализируем большой набор данных ЭЭГ, но с другой стороны, накладываем на этот процесс специальные ограничения, или «рамки». Еще работая в университете, я искал оптимальные «рамки» для обучения нейросетей при анализе мозговой деятельности. В NeuroSteer мы продолжили эту работу: опираясь на новое представление сигнала, основанное на гармоническом анализе, мы применяем традиционные методы машинного обучения для того, чтобы извлечь еще больше информации из имеющихся данных.

А что именно выиспользуете в NeuroSteer — глубокое обучение, рекуррентные нейросети или что-то подобное? Или все-таки нейросети довольно простые, но вседело в тех продвинутых «рамках», о которых вы сейчас говорили?

Еще в 90-е годы, когда я плотно занимался ИНС и глубоким обучением, мне особенно нравилась одна архитектура — она описывала нейросети, которые пытались решить сразу несколько разных задач. В 1993 году я опубликовал статью, где описал одну такую нейросеть, которая, к примеру, оптимизировала ошибку в метках классов (задача А), плюс реконструировала исходный сигнал (задача Б). Позже мы использовали этот подход для распознавания лиц и показали, что он улучшает результаты обучения на малой выборке и позволяет более качественно распознавать размытые изображения. В NeuroSteer мы используем тот же метод, причем нам даже не требуется очень уж глубокая архитектура нейросети. А вот то, что мы интегрируем в нашу сеть гармонический анализ, делает ее необычной и по-своему уникальной.

С учителем и без

**Есливы используете так много методов машинного обучения в NeuroSteer, в какой момент происходит фаза самого обучения? «Онлайн», то есть в момент непосредственного использования, или все обучается заранее и впоследствии только используется в рабочем режиме?*

Обучения и в самом деле хватает: мы как будто учим ребенка узнавать речь, фонемы, а затем и непосредственно понимать язык. И все это происходит «оффлайн». И уже затем, «онлайн», мы только извлекаем информацию, анализируя считанные признаки. Вдобавок ко всему мы пользуемся некими «детекторами», так мы их назвали, которые стараются по этим признакам распознать различные состояния мозга, которые мы называем функциональными нейросетями. Так что короткий ответ будет такой: да, большая часть обучения происходит «оффлайн».

**Как известно, машинное обучение бывает «с учителем» и «без учителя». Как это устроено в NeuroSteer? Используете ли вы «учителя», то есть некие метки, полученные при помощи альтернативных методов мониторинга, или все-таки ваш метод сам разбивает исходную информацию на кластеры, не опираясь на сторонние метки?*

Интересный вопрос, но в той статье 1993 года, о которой я упоминал, мы использовали комбинацию двух методов: с учителем и без. Это меня больше всего и восхищает: сеть поначалу работает в режиме «без учителя», и лишь затем появляются некоторые ограничения, которые выступают в роли учителя, то есть внешних меток.

Если вам на этапе обучения с учителем надо соотносить показания NeuroSteer с определенным эмоциональны моткликом или настроением человека, то какие еще альтернативные средства мониторинга настроения вы используете?

Некоторые признаки из тех, что находит наш метод машинного обучения, в самом деле коррелируют с определенными состояниями мозга, например, тем или иным настроением. Если мы по наблюдаем за группой людей, которые в данный момент смотрят веселую или, наоборот, страшную сцену из фильма, то заметим, в каком состоянии у них находятся определенные функциональные нейросети. Так мы можем проследить за корреляциями между внешними стимулами, внутренними состояниями мозга и показателями, которые мы считываем.

Натан Интратор

Мозг,ИИ и нейропластичность

**Выше вы упомянули, что занимались обучением ИНС для работы сразу с несколькими задачами. Насколько я знаю, это и сейчас одна изгорячих тем, ведь пока никому еще не удалось достичь чего-то вроде подвижной архитектуры ИНС, то есть аналога нейропластичности?*

Эта тема будет оставаться в списке горячих до тех пор, пока мы не поймем, как с ней справляется сам мозг. Ведь по вопросу обучения одного-единственного нейрона в головном мозге — я интересовался этим вопросом всю жизнь и защитил по нему диссертацию — до сих пор не существует консенсуса. При этом нам известно множество примеров, из которых ясно, что нейрон не просто минимизирует ошибку в классовых метках (как чаще всего происходит в ИНС — прим. ред.), а оптимизируется как-то по-другому. Так что вопрос остается открытым, как в интересах исследования головного мозга, так и в области разработки искусственного интеллекта (ИИ).

Помимо упрощенной роли самих нейронов, в традиционных ИНС существует еще и фиксированная архитектура: мы задаем количество слоев, число нейронов в них и их связность, — а потом подбираем веса каждой связи, чтобы настроить ИНС под конкретную задачу. Но в реальных нейронных сетях, обладающих нейропластичностью, сама архитектура, то есть система связей между нейронами, по-видимому, может изменяться в ходе обучения. Так ли это?

Вы совершенно правы, и это удивительное свойство живого мозга. Я долго изучал вопрос о том, как животные ухитряются так эффективно анализировать поступающую от органов чувств информацию. Животным, кстати, это удается не в пример лучше, чем нам. Именно поэтому я изучал, как обрабатывают сигналы дельфины, летучие мыши и даже кроты. Дельфины делают это в воде, летучие мыши — в воздухе, а кроты — под землей. И один из удивительных фактов о кротах состоит в том, что на момент рождения их глаза соединены со зрительной корой головного мозга, как у многих других животных. Однако через несколько месяцев в зрительную кору вторгается слуховая, и та же самая нейросеть, которая анализировала бы визуальный сигнал, — если бы крот жил на поверхности, как другие животные, — перестраивается на совершенно другую задачу. Она начинает анализировать подземное окружение крота, основываясь на слуховой информации, возникающей из-за того, что животное стучится головой о стенки тоннеля. Таким образом визуальный (в прошлом) участок коры анализирует что-то вроде сейсмических данных.

Получается, что архитектура сети изменяется не очень сильно, входящий сигнал меняется кардинально от визуального к сейсмическому, и все-таки архитектура в течение нескольких месяцев способна адаптироваться к работе с совершенно новой информацией. Это поражало: ведь долгое время считалось, что в ходе эволюции кроты полностью перестроили нейронные сети у себя в мозгу для работы с другим сигналом. А оказалось, что все это происходит в течение пары месяцев и является простым следствием того, что кроты лишены света и передвигаются в основном под землей.

Это означает то, что алгоритм обучения отдельных нейронов не ограничивается простой минимизацией ошибки. И я думаю, что огромная роль, которую мы до сих пор упускаем в ИНС, принадлежит тому, что в биологических нейросетях называется «латеральным ингибированием» (т.е. способностью возбужденного нейрона подавлять активность своих соседей. — Прим. ред.). Роль ингибирования вообще не до конца реализована в ИНС в том виде, в котором это происходит в головном мозге.

Чтобы было понятнее: хотя мы имеем отличное представление о роли латерального ингибирования во многих зрительных процессах (например, оно отвечает за необычное восприятие многих оптических иллюзий. — Прим. ред.), я полагаю, что некое обобщенное понятие ингибирования играет ключевую роль, так как описывает модификацию архитектуры сетей и их адаптацию к конкретным наборам информации или конкретным задачам. Сегодня, как вы правильно заметили, это все решается вне алгоритма обучения: мы перебираем сети разных размеров и с разной архитектурой, а затем выбираем оптимальную, но на самом деле у нас нет реального алгоритма для подобной оптимизации.

А у мозга, похоже, он есть.

Во второй части интервью профессор Интратор подробно расскажет о практическом применении NeuroSteer, Илоне Маске и о том, трудно ли виолончелистам во время игры решать задачки по математике. Не пропустите!

Беседовал: Тарас Молотилин