Новый прибор использует своего рода обман или иллюзию. Он помогает слепому человеку выстраивать картину мира по набору звуков. Изобретение это раскрыло перед исследователями новые грани пластичности мозга человека.

Доктор Амир Амеди (Amir Amedi) и его коллеги из Еврейского университета в Иерусалиме создали устройство подмены восприятия (sensory substitution device — SSD), которое позволяет слепым людям в некотором смысле видеть окружающую обстановку.

Рис. 1. Доктор Амеди (на снимке) не только лично испытал новый прибор, но и провёл серию тестов со слепыми добровольцами. Результаты оказались интересны для медицины и нейрофизиологии (фото Institute for Medical Research Israel-Canada, Hebrew University of Jerusalem).

В основе SSD лежит миниатюрная камера на очках, подключённая к небольшому компьютеру либо смартфону. Программа, разработанная группой Амеди, преобразует визуальную информацию в набор звуковых сигналов.

Рис. 1. Минувшим летом доктор Амеди (справа)
представил свой проект президенту Израиля
Шимону Пересу (в центре) и президенту
Еврейского университета в Иерусалиме
Менахему Бен-Сасону (Menachem Ben-Sasson)
(фото Hebrew University of Jerusalem).

Базовые правила их формирования довольно просты. Скажем, контрастная линия, идущая слева направо и вверх, может быть отражена сигналом с нарастающим тоном, а линия, идущая вниз, – звуком с постепенно понижающейся частотой.

После непродолжительных тренировок человек может научиться понимать, о чём ему сообщает прибор, утверждают разработчики системы.

Испытания показали, что с SSD слепой способен распознавать бытовые предметы, находить людей и определять их позы, различать простенькую компьютерную графику (типа «лицо», «дом») и даже читать крупные буквы и целые слова.

Это достижение – существенное продвижение вперёд по сравнению с предыдущим проектом Амеди – портативной «виртуальной тростью» (Virtual Cane), представленной летом 2011 года.

Рис. 3. Привыкая к восприятию
обстановки по звуку, слепой человек
учится формировать в голове картинку,
которую с некоторой степенью
достоверности можно было бы назвать
зрительной (иллюстрация Hebrew
University of Jerusalem, Amir Amedi’s Lab).

Ещё в тот раз Амир и его соратники отметили, что слепые люди пользуются таким прибором более ловко, чем обычные испытатели с чёрной повязкой на глазах.

Причина вроде бы лежит на поверхности: слух у незрячих развит намного сильнее, чем у видящих, потому слепые лучше чувствуют тонкие вариации в звуке, его тональности, пространственном расположении источников.

Однако исследования, проведённые недавно Амеди, показали, что дело обстоит не совсем так.

Работа мозга в случае такой замены — куда сложнее.

Рис. 4. Ресурс Inhabitat логично сравнивает SSD с прибором VISOR (Visual Instrument and Sensory Organ Replacement) из фантастического сериала Star Trek: The Next Generation. Его носил слепой от рождения инженер Джорди Ла Форж (Geordi La Forge). Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).

Амир и его коллеги задались целью не просто создать разные электронные помощники для инвалидов, а разобраться, как они взаимодействуют с мозгом владельца. В частности, учёных интересовала… зрительная кора.

Рис. 5. Один из феноменов, изучаемых группой Амеди, – мультисенсорное восприятие. Это интегрированная обработка разных каналов информации, помогающая формировать целую картину мира. Особенности взаимодействия разных зон мозга в этом процессе до сих пор не поняты в полной мере. В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Нейрофизиологам известно, что визуальная обработка в мозге идёт двумя параллельными путями. В коре имеется затылочно-височной путь, или «вентральный поток», связанный с обработкой форм, идентификацией объектов, их цвета. Он отвечает на вопрос «что я вижу?».

И ещё есть затылочно-теменной путь («дорсальный поток»), который анализирует пространственную информацию о месте расположения объекта (вопросы «где?» и «как?»).

Рис. 6. Работа Амеди не первая, в которой инженеры и учёные попробовали формировать в голове слепого человека «зрительную картину» при помощи звуков. Вспомним европейский опытный проект CASBLiP, реализованный в 2009 году (фото CASBLiP/ Universitat Politècnica de València).

Амеди и его коллеги провели сканирование мозга 9 зрячих людей и 11 слепых от рождения. Зрячие выполняли задачи на визуальное распознавание, а слепые – аналогичные упражнения с использованием SSD.

Рис. 7. Проект SSD вообще-то
объединяет несколько вариантов
помощников для слепых. Это и уже
упоминавшаяся карманная «виртуальная
трость», и различные прототипы систем
ориентации с очками-камерами и
стереонаушниками, получившие также
имя vOICe (фото Hebrew University of
Jerusalem, Amir Amedi’s Lab).

К удивлению экспериментаторов, у слепых активировались те же два потока. То есть зрительная кора точно так же начинала расшифровывать форму вещей и их пространственное расположение, когда человек пользовался «слуховым зрением».

Об этом исследовании рассказывает статья в журнале Cerebral Cortex.

Выходило, что такое фундаментальное разделение объёма работ может возникать даже без всякого предшествующего зрительного опыта. И что это разделение – не визуальное по своей природе.

Израильтяне сделали вывод, что мозг организует зоны коры по принципу специфики обработки информации (условно – по типу необходимых вычислений), вне зависимости от вида сенсорных каналов — зрительного, слухового или тактильного. О последнем стоит рассказать особо.

Рис. 8. Перекладка на зрительную зону коры обязанности по составлению «визуальной картины» по одному лишь звуку – ещё один пример потрясающей нейропластичности мозга (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Четыре десятка лет назад американский нейрофизиолог Пол Бачирита (Paul Bach-y-Rita) впервые попробовал переводить зрительную информацию в сигналы другой природы, и начал он как раз с тактильных ощущений.

Уже тогда стало ясно, что человек (как слепой, так и просто с закрытыми глазами) непохо приспосабливается к пространственной ориентации по необычному для себя принципу. Так, вибрации или слабые электрические покалывания на разных участках тела помогали испытуемым строить в голове мысленную картину обстановки, заменяя зрительное восприятие

Рис. 9. Вверху слева – один из ранних аппаратов Пола Бачириты, в котором сигнал с камеры преобразовывался в вибрацию массива контактов, закрепляемых на животе. Сила вибрации соответствовала яркости пикселей. Справа и внизу: уже в конце XX века и начале XXI эти исследования привели к появлению «языкового дисплея», а ещё – похожего по принципу устройства, передающую тактильную картинку на лоб человека (фото Bach-y-Rita et al., sarahangliss.com, ens-lyon.fr).

Опыты Амеди идеологически продолжают эксперименты Бачириты. И они показывают, что мозг слепых потенциально может быть разбужен для обработки визуальных задач даже в том случае, если человек был слепым всю жизнь.

Это открывает хорошие перспективны не только для обсуждаемой технологии подмены отсутствующего сенсорного канала другим, но и для электронных систем, возвращающих человеку зрение в прямом смысле, вроде разнообразных сетчаток-имплантатов.