Американские инженеры создали носимый контроллер, считывающий активность мышц и движения руки, и превращающий их в команды для дрона. Контроллер состоит из двух пар электродов, закрепляемых над бицепсом и трицепсом, а также электродного браслета, надеваемого на предплечье.

Одно из главных достижений разработки заключается в том, что устройство не требует калибровки для каждого конкретного пользователя, рассказывают авторы статьи, представленной на конференции HCI 2020.

Инженеры давно предлагают управлять дронами с помощью жестов, потому что это более интуитивно, чем поворачивать стики на пульте в разные стороны. В некоторых серийных дронах есть частичная поддержка жестов, но она довольно ограничена и работает на основе камеры, поэтому в темноте или на расстоянии такой способ применять практически невозможно.

В исследовательских проектах часто применяется другой визуальный метод отслеживания движения тела или руки — с помощью инфракрасных маркеров и камер по периметру помещения. Это дает очень высокую точность и низкую задержку измерений, но привязывает пользователя и дрон к конкретному помещению, поэтому на практике такие системы неприменимы.

Из-за этих ограничений наиболее перспективно выглядят носимые устройства для отслеживания движений рук. Они могут отслеживать жесты по показаниям акселерометра и гироскопа, но точность их работы может снижаться, когда они имеют дело с несколькими жестами подряд или нечеткими движениями.

Исследователи из Массачусетского технологического института Джозеф Дельпрето (Joseph DelPreto) и Даниэла Рус (Daniela Rus) применили в своем проекте еще более непосредственные данные о жестах — активность мышц человека.

В устройстве используется метод неинвазивной электромиографии, при котором электроды не вживляются в мышцу, а располагаются на коже и измеряют электрический потенциал, который возникает при возбуждении мышечных клеток.

Инженеры задействовали сразу три типа мышц. На плече располагаются две пары электродов: одна измеряет активность в области короткой головки двухглавой мышцы, а вторая в области длинной головки трехглавой мышцы. Еще один набор электродов в виде браслета располагается на предплечье недалеко от локтя.

Оператор может управлять дроном четырьмя видами жестов: для движения вперед необходимо сжать кулак, для остановки нужно напрячь мышцы плеча, поворот кулака позволяет двигать дрон в этом направлении, а за вращение вокруг вертикальной оси отвечает вращение кулака.

Схема распознавания жестов / Joseph DelPreto, Daniela Rus / HCI 2020

Данные с датчиков обрабатывает набор алгоритмов, в основном модель смеси Гауссовых распределений для кластеризации жестов без предварительного обучения для большинства жестов, а также нейросеть для распознавания наклонов кулака в стороны. Тесты на добровольцах показали, что дрон корректно откликался на 81,6 процента из 1535 жестов, сделанных во время испытаний.