Американские инженеры разработали новую версию алгоритма Dex-Net, позволяющего роботам с манипуляторами хватать предметы с высокой точностью. С новым алгоритмом робот может выбирать подходящую руку, использовать захваты разных типов и подбирать оптимальный инструмент под конкретный объект. Эксперименты показали, что при разборе корзины с 25 незнакомыми предметами точность захвата составляет 95 процентов, рассказывают авторы статьи , опубликованной в Science Robotics.

Захват предметов — это одно из наиболее развиваемых направлений современной робототехники. Во многом это связано с тем, что эта задача очень часто встречается в промышленности или логистике. К примеру, через склады крупных онлайн-магазинов постоянно проходит множество товаров самой разной формы, размера и массы. Один из крупнейших в мире онлайн-магазинов Amazon до 2018 года проводил соревнования среди разработчиков роботов, чьи наработки могут пригодится компании для сортировки заказов без участия людей.

Группа инженеров из Калифорнийского университета в Беркли под руководством Кена Голдберга (Ken Goldberg) занимается этой проблемой уже несколько лет и в 2017 году они представили первую версию нейросетевого алгоритма и датасета Dex-Net. В качестве архитектуры Dex-Net использует сверточную нейросеть, а в качестве источника данных — камеру глубины. Авторы достаточно быстро создавали новые версии алгоритма, и в 2018 году они представили Dex-Net 4.0, однако полноценная статья с его описанием опубликована только сейчас.

Главное отличие от предыдущих версий алгоритма — возможность использовать одновременно захваты разных типов. В своей работе авторы сосредоточились на захватах двух типов — вакуумной присоске и классическом захвате двумя сжимаемыми параллельными поверхностями. В качестве аппаратной платформы разработчики выбрали промышленного и исследовательского робота ABB YuMi.

На этот раз инженеры решили использовать для двух рук с разными захватами две отдельные нейросети. Каждая из них получает данные с камеры глубины, распознает объекты перед собой и рассчитывает для каждого объекта такую точку захвата, которая с наибольшей вероятностью приведет к качественному удержанию. Под таким захватом авторы понимают ситуацию, при которой робот может не только поднять предмет, но и не ронять его при наличии небольших внешних воздействий. Перед началом работы робот выбирает захват, для которого была рассчитана наибольшая вероятность, а затем берет предмет и перекладывает его в другую корзину.

Схема эксперимента и два типа объектов
/ Jeffrey Mahler et al. / Science Robotics, 2018

Разработчики обучили робота на его виртуальном аналоге, создав датасет, состоящий из пяти миллионов захватов 1664 различных предметов. Кроме того, часть обученных моделей также получали данные о реальных захватах, полученные во время предыдущих экспериментов. После обучения инженеры провели испытания алгоритма на реальном роботе и незнакомых ему объектах. При захвате сложных повседневных объектов, таких как инструменты и упаковки сложной формы, надежность захвата составила 95 процентов, а скорость — 312 захватов в час.

Результаты экспериментов и сравнение с другими алгоритмами / Jeffrey Mahler et al. / Science Robotics, 2018

В 2017 году компания RightHand Robotics представила новый захват для робоманипуляторов, который одновременно оснащен как тремя пальцами, так и присоской, благодаря чему надежность захвата повышается по сравнению с использованием инструмента одного типа. А в 2018 году австралийские разработчики, победившие в конкурсе Amazon Picking Challenge 2017, создали алгоритм для роботов, позволяющий им захватывать неподвижные и двигающиеся объекты с высокой точностью. Тесты показали, что робот успешно справляется с захватом двигающихся бытовых предметов в 88 процентах случаев