Исследователи из Корнеллского университета научили робота определять типы физических взаимодействий от похлопываний до ударов и объятий. Новая технология ShadowSense — определяет и идентифицирует человеческие прикосновения с помощью камеры. Это универсально, по сравнению с тактильными датчиками, которые занимают пространство и добавляют конструкции вес.

Новая разработка возникла как идея для создания роботов-эвакуаторов, которые могли бы направлять людей в безопасное место во время экстренной ситуации. Такой робот должен уметь общаться с людьми в экстремальных условиях.

Установка большого количества контактных датчиков добавила бы роботу веса, поэтому разработчики решили проблему иначе. Они измерили интенсивность и тип тактильного контакта с помощью камеры: она может анализировать, как человек прикасается к роботу и каковы его намерения.

Прототип робота состоит из нейлоновой кожи, натянутой вокруг цилиндрического скелета. Под кожей находится USB-камера, которая подключается к ноутбуку. Исследователи разработали нейросетевой алгоритм, который использует ранее записанные обучающие данные для того, чтобы различать шесть сенсорных жестов-прикосновений ладонью: удар кулаком, прикосновение двумя руками, объятие, указывание на предмет и отсутствие прикосновения.

В результате робот определит тип взаимодействия с точностью от 87,5 до 96%, в зависимости от освещения.