Нейробиологические методы подобны невоспетым героям научной журналистики. Периодически СМИ озаряются словосочетаниями вроде «управляемые мозгом машины» и «чтение мыслей» («ученые, наконец, научились читать ваши ГРЯЗНЫЕ МЫСЛИШКИ!!!11»). Но как это делается? И раз уж мы заговорили об этом, какими методами достигается реализация таких футуристических проектов, как управление виртуальной реальностью при помощи глаз или определение того, присутствовал ли подозреваемый на месте преступления? Вопросы, одни вопросы. Ответы – в этом поте.

Отслеживание движений глаз и виртуальная реальность

По определению, отслеживание движений глаз (ОДГ) измеряет активность ваших глаз. Когда и как часто вы моргаете? Отчего сужаются зрачки? Остаётся ли ваш взгляд дольше на её шикарной груди или на прекрасных глазах? Отвечая на подобные вопросы, отслеживание движений глаз позволяет выяснить, сконцентрирован ли человек, или расслаблен и устал, удобен ли для пользователей ваш веб-сайт, есть ли у пациента аутизм – эта технология применима в различных областях, количество которых продолжает увеличиваться.

Изображение кликабельно

В отличие от 1890-х сегодняшние технологии не требуют обездвиживания глаз при помощи кокаина. Сегодня общепринятым методом измерения поведения глаз служит подсветка светом ближней инфракрасной части спектра в центр глаза и сравнение позиции его отражения с позицией зрачка (позиция отражённого света остаётся на месте, а зрачок сдвигается относительно неё). Комбинируя данные с положением головы, можно экстраполировать их для получения направления взгляда и вычисления, на какие точки человек смотрит. Типичные измерения включают в себя фиксации (то, где взгляд задержался на чём-то, что привлекло ваше внимание), их продолжительность и время, необходимое для перевода на них взгляда; саккады (последовательное перемещение глаз от одной детали рассматриваемого предмета до другой); итоговый путь взгляда (на что вы смотрели, в каком порядке и как долго). Всё это можно измерить двумя способами: удалёнными приборами, и устройствами, закрепляемыми на голове. Первые обычно присоединяются к экрану компьютера. Вторые устанавливаются на голове человека и выглядят, как футуристический наряд Леди Гага. Такие устройства позволяют человеку беспрепятственно перемещаться.

Отслеживание движений глаз – технология универсальная. Её области применения простираются от маркетинговых исследований (разработка продукта, продакт плейсмент, упаковка) до нейробиологии (ранняя диагностика болезни Альцгеймера, исследование внимания и памяти, и т.д.). Но есть одна реально футуристическая идея, которая должна пощекотать ваш гиковский разум: виртуальная реальность (ВР). ОДГ становится всё более популярным в сообществе ВР, поскольку она может помочь в создании ВР глубокого погружения на не самых мощных устройствах, а также дать возможность игроку влиять на виртуальный мир при помощи одних только глаз.

Обратимся к тому, как ВР и ОДГ приводят к улучшению пользовательского опыта. У глаза существует фовеа – небольшая впадина в самом центре зрачка, отвечающая за острое зрение. Когда мы смотрим на что-либо, мы видим лишь малую часть нашего окружения в деталях (ту, что находится в фовеальном поле зрения). Наше периферийное зрение видит только цвет и движения, но в довольно размытом и не детализированном виде. Для создания впечатления, будто мы видим гораздо больше деталей нашего окружения, мозг просто использует наш опыт и память, заполняя пробелы. Если в поле вашего периферийного зрения находится размытый арбуз, ваш мозг просто подставит на его место сфокусированное изображение, взяв его из памяти – и вот он уже более чёткий. И вот, разработчики ВР работают над созданием технологии «фовеального рендеринга» [foveated rendering], призванной значительно уменьшить вычислительную нагрузку компьютера. Она должен использовать имеющиеся у нас знания о функционировании мозга и интерпретации им окружающего мира. Сначала ОДГ сообщает программе, куда конкретно смотрит человек. Фовеальный рендеринг, используя эту информацию, генерит картинку, находящуюся по бокам поля зрения, с гораздо меньшим разрешением и детализацией, а всю вычислительную мощность направляет на повышение чёткости и реализма при рендере фовеальной области. Виртуальность обновляется согласно движениям ваших глаз так, что область вашего зрения всегда остаётся чёткой. Схожим со зрением в реальном мире образом, ваш мозг будет создавать иллюзию повсеместно чёткого зрения на основе своего опыта. И хотя всё это выглядит очень круто, такая технология находится в начале разработки, поскольку довольно сложно создать одновременно недорогой и небольшой аппарат для ОДГ.

Как это работает

Техногиганты не стали откладывать свою реализацию нового подхода: совсем недавно Google приобрёл себе один из главных стартапов ОДГ. Говорят, что они работают над беспроводными ВР-очками, смешивающими дополненную реальность и ВР. Выберите пункт меню, задержав на нём взгляд! Посмотрите на что-нибудь подольше и увеличьте изображение! Прогуляйтесь по Лувру, и получить информацию о картине, моргнув 4 раза! Используйте глаза вместо мышки! Славься наш новый повелитель и спаситель, отслеживание движений глаз! То, что началось в 1879 году как отслеживание глаз при чтении, прошло путь, достаточно долгий для того, чтобы поменять наше представление о реальности.

Функциональная магнитно-резонансная томография (фМРТ) и чтение мыслей

фМРТ похожа на современное искусство. Все о нём слышали, но никто не понимает, каким оно должно быть. Не бойтесь, вскоре всё станет ясно. По сути, фМРТ основана на том факте, что кровь с повышенным содержанием кислорода ведёт себя в магнитном поле иначе, чем кровь с пониженным содержанием кислорода. При этом, чем активнее ведёт себя область мозга, тем больше кислорода она потребляет. А чем больше требуется кислорода, тем больше крови поступает в эту область. фМРТ может отслеживать увеличение тока крови и потребления кислорода, чтобы найти активную область мозга. Такой тип получения изображений называется формирование изображений на основе уровня снабжения крови кислородом (blood oxygenation level dependant, BOLD). Метод неинвазивный, вам нужно только полежать в очень громко работающей трубе сканера, и даёт хорошее пространственное разрешение изображений (временное разрешение получается похуже, поскольку существует задержка в 3–6 секунд между активацией области мозга и потребностью в кислороде). Этот инструмент используется в огромном разнообразии исследований.

фМРТ можно использовать двумя путями: оно либо помогает увидеть активизацию мозга при выполнении простой задачи (например, в опыте периоды безделья меняются с периодами выполнения заданий на память/визуальное распознавание/моральные суждения, в общем, задачи типа «эротика или мороженое»), либо его используют для разбора работы мозга в тот момент, когда мы не заняты какой-то конкретной задачей (допустим, когда мы мечтаем, рассеянно глядя из окна автобуса, или улыбаемся и киваем коллегам, притворяясь, что слушаем их болтовню про детей). Первый вариант под названием фМРТ в состоянии отдыха показал, что в мозгу происходит очень много всего даже в те моменты, когда мы ничем не заняты: он определил несколько сетей, управляющих мозгом, и позволил нам увидеть, как меняются связи между регионами мозга при психиатрических заболеваниях или в разных состояниях сознания.

Наше исследование фМРТ показало, что у испытуемых во время выполнения простых задач на запоминание возникала активность в частях мозга, ассоциируемых с громкими звуками, клаустрофобией и потерей драгоценностей

Когда у нас появилось представление о том, как это работает [1], что можно с этим сделать? Борюсь с искушением заявить о «чтении мыслей» (и передать вам шапочку из фольги), поэтому я лучше использую более научный термин, «декодирование мыслей на основе активности мозга».

Технология декодирование не просто ищет область, реагирующую на, допустим, лицо. Они распознают схему активации всего мозга целиком, соответствующую распознаванию конкретного лица. Затем, установив схемы активации для дофигилиарда изображений, алгоритм «классификации схем» обрабатывает их вместе со связанными изображениями. В результате классификатор узнаёт о связи между изображениями и активностью мозга в момент их распознавания и понимает, какую схему активации скорее всего вызовет определённая картинка – допустим, фотография кошки или младенца. Программа, обработав достаточно примеров, может начать изучение сканов фМРТ и пытаться декодировать, на что именно в момент сканирования смотрел или о чём думал человек. Первые опыты были простыми – в ранних работах учёные могли распознать лишь категорию предметов, на которые в тот момент смотрели испытуемые (обувь, ботинки, ножницы, и т.п.) [2].

Вскоре после этого механизмы декодирования шагнули далеко вперёд. Сначала их использовали, чтобы определить, на какое из 120 изображений смотрят люди [3] – задача куда как более сложная, чем определение широкой категории объектов. Потом исследователи разработали классификатор, способный выдавать примитивные фильмы на основе фильма, просматриваемого испытуемым [4]. С тех пор технология уже использовалась для чего угодно – построение визуальных сцен [5], работа памяти (о чём я думаю?) [6] и распознавание намерений [7] (какую кнопку я хочу нажать?). Но классификация намерений – задача более сложная, чем распознавание изображений. Объекты группируются по цвету или форме, но как назначить категории намерениям? Другая проблема – возможность обобщения. Пока что все декодеры работают с избранными мозгами, и разработки стандартного прибора для чтения мыслей, который можно будет использовать для борьбы с преступностью, не стоит ждать в ближайшие пару лет. На текущем этапе, как говорит Джон-Дилан Хейнс [John-Dylan Haynes] (человек, усиленно работающий над исследованиями классификаторов, а также мой профессор (это я хвастаюсь)), «Лучший способ выяснить чьи-либо намерения – это спросить».

Как работает декодирование

Источники

1. www.psy.vanderbilt.edu/…_Basics.html
2. dx.doi.org/10.1016/S1053–8119 (03)00049–1
3. gallantlab.org/_downloads/2008a.Kay.etal.pdf
4. www.ncbi.nlm.nih.gov/pubmed/21945275?…
5. journal.frontiersin.org/article/10.3389/fnhum.2014.00059/full
6. www.jneurosci.org/…/32/38/12983?…
7. www.ncbi.nlm.nih.gov/pubmed/21486293