Команда исследователей из Университета Мэриленда продемонстрировала, что популярные бытовые роботы-пылесосы можно удаленно взломать и использовать в качестве микрофонов. Ученые представили свою работу на конференции SenSys 2020 в Японии.

Исследователи собрали информацию из лазерной навигационной системы в популярном вакуумном роботе-пылесосе и применили методы обработки сигналов и глубокого обучения для восстановления речи и определения звуков телевизора в той же комнате, где находилось и устройство.

Эта работа демонстрирует потенциал любого устройства, использующего технологию обнаружения и определения расстояния (лидар), которое можно использовать для сбора звука, несмотря на отсутствие микрофона.

«Мы приветствуем эти устройства в наших домах и не подозреваем, как их можно использовать, — объясняет Нирупам Рой, доцент факультета компьютерных наук Университета Мэриленда, один из авторов исследования. — Но мы наглядно показали: несмотря на то, что у роботов-пылесосов нет микрофонов, можно перепрофилировать системы, которые они используют для навигации, чтобы шпионить за пользователями и потенциально раскрывать личную информацию».

Лидарные навигационные системы в домашних вакуумных роботах-пылесосах освещают лазерным лучом комнату и считывают отражение лазера от близлежащих объектов. Робот использует отраженные сигналы, чтобы избегать столкновений при движении по дому.

Исследователи перепрофилировали лазерную навигационную систему на вакуумном роботе (справа), чтобы улавливать звуковые колебания и улавливать человеческую речь, отражающуюся от объектов, таких как мусорный бак, установленный рядом с динамиком компьютера на полу. Предоставлено: Шрирам Сами

Эксперты по конфиденциальности предположили, что карты, созданные вакуумными роботами-пылесосами, которые часто хранятся в облаке, потенциально нарушают конфиденциальность пользователей. Рекламодатели могут запросто получить доступ к информации о размере дома, который предполагает уровень дохода, и другую информацию, связанную с образом жизни.

Рой и его команда задались вопросом, может ли лидар этих роботов также представлять потенциальную угрозу безопасности в качестве устройств записи звука в домах или на работе пользователей.

Звуковые волны заставляют объекты вибрировать, и эти колебания вызывают небольшие изменения в отражающемся от объекта свете. Лазерные микрофоны, используемые в шпионаже с 1940-х годов, способны преобразовывать эти вариации обратно в звуковые волны. Но лазерные микрофоны полагаются на направленный лазерный луч, отражающийся от очень гладких поверхностей, таких как стеклянные окна.

С другой стороны, вакуумный лидар сканирует окружающую среду с помощью лазера и улавливает свет, рассеянный обратно объектами неправильной формы и плотности. Рассеянный сигнал, полученный датчиком робота, предоставляет только часть информации, необходимой для восстановления звуковых волн. Исследователи не были уверены, можно ли использовать лидарную систему робота-пылесоса для работы в качестве микрофона и можно ли интерпретировать сигнал в значимые звуковые сигналы в принципе.

И все же исследователи взломали робот-пылесос, чтобы показать, что они контролируют положение лазерного луча и отправляют полученные данные на свои ноутбуки через Wi-Fi, при этом не мешая навигации устройства.

Далее они провели эксперименты с двумя источниками звука. Одним из источников был человеческий голос, а другим — звук из различных шоу, воспроизводимых через звуковую панель телевизора. Затем Рой и его коллеги зафиксировали лазерный сигнал, воспринимаемый навигационной системой вакуумного робота-пылесоса, когда он отражался от различных объектов, расположенных рядом с источником звука. Среди предметов были мусорное ведро, картонная коробка, контейнер для еды и мешок для мусора — предметы, которые обычно можно найти на полу.

Исследователи передавали полученные сигналы через алгоритмы глубокого обучения. Их компьютерная система, которую они называют LidarPhone, идентифицировала речь в разговоре и телешоу по минутной записи с точностью более 90%.