Инженеры из Microsoft Research представили новую систему виртуальной реальности для слепых и слабовидящих людей. По сравнению с предыдущей версией, которая позволяла двигать виртуальную трость только в горизонтальной плоскости, в новой — три тормоза, благодаря которым трость можно поднимать, опускать, а также притягивать к себе и ставить практически перпендикулярно земле.

В систему встроен вибромотор, который позволяет получать гаптический ответ от контакта трости с поверхностями, а дополняется взаимодействие со средой заранее записанными звуками. Семь из восьми слабовидящих участников, опробовавших виртуальную среду, справились с навигацией без столкновений, сообщается на сайте компании.

В 2018 году компания Microsoft впервые показала Canetroller — свою систему виртуальной реальности для слепых и слабовидящих людей. Основной инструмент такой системы — трость, с помощью которой происходит контакт пользователя со средой: она присоединена к закрепляемому на поясе металлическому стержню, по которому свободно двигается. К стержню присоединен вибромотор, а к самой трости — датчик: при столкновении с виртуальными объектами трость останавливается, имитируя столкновение реальное. Кроме того, такая система позволяет распознавать некоторые поверхности: для этого при контакте, например, с виртуальной тротуарной плиткой в наушники пользователю посылается соответствующий звук.

Основной недостаток Canetroller — ограниченное количество степеней свободы: трость в такой системе можно двигать только в горизонтальной плоскости, что может сильно осложнить навигацию в большом виртуальном пространстве. В новой системе навигации, созданной при участии Майка Синклера (Mike Sinclair), который работал над Canetroller, конструкция трости осталась примерно такой же, но в нее, помимо тормоза в горизонтальном пространстве, добавлено еще два: вертикальный тормоз в основании металлического стержня, а также тормоз на конце трости в месте закрепления на стержне.

Такая конструкция позволила значительно увеличить количество степеней свободы: трость можно двигать горизонтально и вертикально, а также по направлению к себе. Увеличение степеней свободы не только расширяет диапазон взаимодействия, но также и позволяет, например, поставить трость перпендикулярно земле.

Как и в Canetroller, в новой системе есть возможность имитировать контакт с различными поверхностями с помощью установленного в трости вибромотора и заранее записанного звука. Интересно, что новая система позволяет различать не только сами поверхности, но и движение, которое используется для контакта с ними: так, пользователь может постучать или провести виртуальной тростью по виртуальному бетону — и звуки, и гаптический ответ будут разными.

Для проверки работы новой системы исследователи создали сложную виртуальную среду размером шесть на шесть метров: в ней установлены несколько разных препятствий в виде блоков, стен или перегородок, а помимо гаптического ответа, получаемого виброотдачей от трости, для навигации используются звуки и их динамика в пространстве. Среду опробовали восемь слабовидящих людей: семерым из них удалось успешно выполнить задачу (добраться до предмета), не сталкиваясь с виртуальными препятствиями.

Опыт пользователей в виртуальной среде также сильно зависел от материала наконечника трости: участники, которые для навигации в виртуальной реальности использовали трость с пластиковым наконечником, чаще сообщали о странных ощущениях при контакте с объектами. Это, по словам ученых, объясняется тем, что при записи звуков контакта с поверхностями и виброотдачи использовалась трость с металлическим наконечником. Те участники, которым досталась трость с металлическим наконечником, в свою очередь, ничего странного не заметили: это, помимо прочего, говорит о важности подбора материала для взаимодействия с виртуальной средой. Больше подробностей о работе новой системы виртуальной навигации можно также найти в препринте, выложенном на сайте компании.