Исследователи Делфтского технологического университета разработали нейроморфный механизм управления зрением, который делает возможными автономные полеты дронов. Для этого проекта команда создала пятислойную нейросеть из 28 800 нейронов. Сеть обрабатывает «сырые» данные с камеры, на их основе оценивает трехмерное движение в окружающей среде и выдает команды управления для дрона.

Во время полета нейроморфный дрон обрабатывал данные до 64 раз быстрее, чем графическая карта, и потреблял всего 7 милливатт энергии на работу нейросети. Развитие этой технологии позволит дронам стать такими же маленькими, маневренными и умными, как летающие насекомые.

Искусственный интеллект обладает огромным потенциалом для предоставления автономным роботам интеллекта, необходимого для реальных приложений. Однако нынешний ИИ опирается на глубокие нейронные сети, требующие значительной вычислительной мощности. Графические процессоры, предназначенные для работы глубоких нейронных сетей потребляют много энергии. Это особенно проблематично для небольших роботов, таких как летающие дроны, поскольку у них ограничены ресурсы с точки зрения датчиков и вычислений.

Мозг животных анализируют информацию совсем не так, как нейронные сети, работающие на графических процессорах. Биологические нейроны обрабатывают данные асинхронно (неодновременно) и в основном общаются с помощью электрических импульсов, называемых спайками. Поскольку передача таких спайков требует энергии, мозг минимизирует их количество, что приводит к разреженной обработке информации (где используется лишь малая часть нейронов). Вдохновленные этими свойствами мозга животных, ученые и технологические компании разрабатывают нейроморфные процессоры. Эти процессоры позволяют запускать импульсные нейронные сети и обещают быть намного быстрее и энергоэффективнее.

Теперь ученые впервые продемонстрировали дрон, использующий нейроморфное зрение и управление для автономного полета. В частности, они разработали спайковую нейронную сеть, которая обрабатывает сигналы с нейроморфной камеры и выдает команды управления, определяющие положение и тягу дрона. Эту сеть ученые развернули на борту дрона на базе нейроморфного исследовательского чипа Intel Loihi. Благодаря данной сети дрон может воспринимать и контролировать собственное движение во всех направлениях с частотой около 200 Гц.

Эта система автономно следовала заданным точкам движения без внешней помощи.

Схема аппаратной установки включает камеру событий, нейроморфный процессор, одноплатный компьютер и контроллер полета. Дрон весом 994 г и диаметром 35 см продемонстрировал плавное снижение высоты во время экспериментов по посадке.

Система обучения сети состоит из двух модулей. Первый обучается визуально воспринимать движение по сигналам движущейся нейроморфной камеры. Это похоже на то, как животные учатся воспринимать мир самостоятельно. Второй учится отображать предполагаемое движение в соответствии с командами управления в симуляторе. Обучение системы управления дроном происходило с помощью искусственной эволюции в симуляторе. Сети, которые лучше управляли беспилотником, имели больше шансов на «размножение». По мере смены поколений искусственной эволюции спайковые нейронные сети становились все эффективнее в управлении и, наконец, смогли летать в любом направлении на разных скоростях.

Одной из главных проблем обучения дронов с автономным управлением является «разрыв реальности» — системы, натренированные на идеальных моделях среды, зачастую не справляются с реальным миром. Исследователи нашли способ обойти эту проблему.

Обучение нейроморфного зрения происходит на «сырых» данных с камеры, что позволяет дрону «видеть» реальный мир. Команда также использовала метод самообучения, избавляющий от необходимости в сложных наземных измерениях. Кроме того, не нужно создавать высокочастотные и реалистичные изображения для обучения, что сокращает время тренировки нейронной сети.

Разработанная сеть работает на частоте от 274 до 1600 раз в секунду. При этом, если запустить ту же сеть на небольшом встроенном графическом процессоре (GPU), она сможет работать только 25 раз в секунду — разница в 10–64 раз. Более того, исследовательский нейроморфный чип Intel Loihi потребляет всего 1,007 Вт, из которых 1 Вт приходится на включение чипа. Сама работа сети потребляет лишь 7 милливатт. Для сравнения, встроенный GPU при выполнении той же задачи потребляет 3 Вт, из которых 1 Вт — включение, а 2 Вт — непосредственно работа сети.