Американские инженеры разработали приложение для шлема виртуальной реальности HoloLens, позволяющее слепым воспринимать окружающий мир через звуковые подсказки. Оно может вести пользователя по заданному маршруту, сообщая ему о приближающихся поворотах и препятствиях, например, ступеньках. Кроме того, виртуальные объекты, расположенные по пути, могут сообщать о своем местоположении, издавая звук или голос с определенной стороны, рассказывают разработчики в препринте, опубликованном в bioRxiv.org.

Обычно слепые и слабовидящие люди ориентируются в окружающем пространстве с помощью белой трости или собаки-поводыря, но инженеры разрабатывают более совершенные устройства. Как правило, они помогают в глобальной навигации — например, подсказывают названия заведений на улице или сообщают о приближающемся перекрестке. Но заменить белую трость, позволяющую чувствовать объекты в непосредственной близости, большинство из таких устройств все равно не может.

Группа инженеров под руководством Маркуса Майстера (Markus Meister) из Калифорнийского технологического института создала навигатор для слепых, позволяющий им перемещаться в помещениях и обнаруживать предметы вокруг. За основу они взяли уже имеющуюся аппаратную платформу — шлем дополненной реальности Microsoft Hololens. Он оснащен несколькими камерами, в том числе камерой глубины, и умеет создавать объемную карту окружающего пространства. Кроме того, в шлеме есть динамики, расположенные с обоих сторон головы.

Сканирование помещения с помощью аудиоподсказок. Yang Liu et al. / bioRxiv.org, 2018

Разработчики создали приложение для шлема, использующее эти возможности для аудионавигации в помещениях. Приложение может работать в нескольких режимах. В одном из них виртуальные объекты (которые можно привязать к реальным) могут издавать звук или голос, который за счет динамиков будет восприниматься человеком именно с той стороны, с которой они находятся относительно него. За счет этого пользователь может узнать о расположении предметов в помещении или выбрать один из них и идти к нему, определяя направление по звуку. Кроме того, система оповещает пользователя о слишком близких к нему предметах или стенах, издавая шипящий звук.

Одно из главных применений программы — навигация по заданному маршруту. Для этого маршрут необходимо предварительно разметить, обозначив на нем повороты и другие опасные участки. Во время навигации перед человеком возникает виртуальный помощник, который постоянно произносит «Следуй за мной». Благодаря тому, что динамики передают направление звука, человек может следовать в правильном направлении за помощником. Также помощник предупреждает о поворотах, ступеньках, перилах и других важных объектах впереди. Разработчики провели испытания навигатора на семи добровольцах, которые должны были пройти сложный маршрут на двух этажах. Несмотря на отсутствие предварительной тренировки, все испытуемые справились с задачей с первого раза.

В прошлом году другая американская группа инженеров создала навигатор для слепых, который также умеет передавать информацию об окружающих объектах, но не через звук, а через вибрацию и точки на дисплее Брайля. Он может предупреждать человека о приближении к любому объекту, а также распознавать стулья и столы поблизости.

Автор: Григорий Копиев