Инженеры из Норвегии и Индии разработали чувствительную роболапу под названием TRACE Paw, которая с помощью расположенных внутри камеры и микрофона, а также алгоритмов машинного обучения, способна предсказывать воздействующие на нее силы и распознавать тип поверхности, по которой передвигается робот. При этом все вычисления выполняются на лету на встроенном микроконтроллере, благодаря чему роболапа может использоваться на множестве существующих моделей роботов.

Препринт доступен на arXiv.org

На устойчивость ходячих роботов в значительной степени оказывает влияние тип поверхности, по которой они передвигаются. К примеру, робот может без проблем ходить по бетонному полу, но терять равновесие при переходе на более скользкую поверхность из-за недостаточного сцепления и проскальзывания ног. Поэтому важно, чтобы робот мог самостоятельно определять силы, воздействующие на его ноги со стороны опоры и, по возможности, мог распознавать тип поверхности, чтобы вовремя реагировать на изменение покрытия, корректируя походку. Чтобы решить эту задачу, можно сделать ноги робота чувствительными.

Так и поступили инженеры под руководством Костаса Алексиса (Kostas Alexis) из Норвежского университета естественных и технических наук. Они разработали чувствительный вариант лапы для роботов под названием TRACE Paw, что расшифровывается как Terrain Recognition And Contact Force Estimation Paw (распознающая местность и оценивающая силы контакта лапа). На конце лапы находится силиконовая подошва, на внутренней поверхности которой нанесен узор в виде точек. Возникающие при ходьбе деформации приводят искажению этого узора, что отслеживается расположенной внутри камерой. Данные с нее поступают на вход нейросети, которая определяет величину и направление сил, воздействующих на подошву в результате контакта с поверхностью.

Для распознавания типа поверхности используются издаваемые во время ходьбы звуки. Аудиоданные записываются встроенным в ногу микрофоном и передаются на вход другой нейросети, которая производит классификацию на основе мел-частотных кепстральных коэффициентов. Алгоритм натренирован распознавать бетон, опавшие листья, снег, песок и траву.

В архитектуре обеих нейросетей содержится по два скрытых слоя, в нейронах которых применяется функция активации ReLU. Набор данных для обучения алгоритма, определяющего силу и направление контакта с поверхностью, содержал более 17 тысяч записей, полученных на тестовом стенде, а датасет для обучения классификатора типов поверхности состоял в общей сложности из 47 аудио сэмплов.

Внутреннее устройство роболапы TRACE Paw и архитектура применяемых нейросетей / A. Vangen et al. / arXiv, 2023

Все вычисления выполняются локально в реальном времени на микроконтроллере платы Arduino Nicla Vision. На плате также присутствует камера разрешением два мегапикселя и микрофон, необходимый для работы классификатора поверхностей. В дальнейшем инженеры планируют собрать больше дополнительных данных для улучшения классификатора местности, так как на практике могут встречаться более сложные сочетания звуков, чем те, которые использовались в обучении.