Инженеры из Австралии и Ирака научили обычный дрон с камерой отличать лежащих живых людей от мертвых. Система анализирует кадры с камеры, определяет на них область с грудью и по периодическим изменениям яркости распознает движения, вызванные дыханием. Статья опубликована в журнале Remote Sensing.

Основная польза от дронов заключается в возможности осмотреть местность или здания с большой высоты. Обычно это используют для фото- или видеосъемки, но у дронов есть и другое серьезное применение — поиск пропавших людей.

При разработке дронов для спасательных операций инженеры сталкиваются с двумя техническими трудностями. Первая из них заключается в сложности обнаружения человека при съемке с большой высоты. Вторая проблема связана с первой и заключается в том, что даже если на кадрах виден силуэт человека, в некоторых случаях, к примеру, при стихийных бедствиях с большим количеством жертв, спасателям необходимо уметь отделать живых людей от мертвых, чтобы сконцентрировать усилия на тех, кому еще можно помочь. Обычно в качестве решения обеих проблем на дрон устанавливают инфракрасную камеру, но, к примеру, в жарких странах контраст между температурой тела и окружающей среды может быть небольшим.

Группа инженеров из Ирака и Австралии под руководством Джаваана Чала (Javaan Chahl) из Университета Южной Австралии использовала в своей разработке другой принцип — распознавание дыхания по данным с экшн-камеры, закрепленной через подвес на квадрокоптере. Главное нововведение в работе — не аппаратная часть, а алгоритм для распознавания дыхания.

Интерфейс программы при работе с видео, на котором находится живой человек / Ali Al-Naji et al. / Remote Sensing, 2019

Интерфейс программы при работе с видео, на котором находится манекен / Ali Al-Naji et al. / Remote Sensing, 2019

Алгоритм получает кадры с камеры и извлекает из них яркостную составляющую. Затем подготовленный кадр обрабатывается алгоритмом OpenPose, который распознает человека в кадре и размечает на нем ключевые точки, соответствующие определенным частям тела. На основании этих данных алгоритм определяет область снимков, в которой расположена грудь человека. После этого программа анализирует яркость этой области на множестве кадров из видео и распознает ее периодические изменения, если на видео находится живой и дышащий человек.

В нынешнем виде система работает не в реальном времени и данные, записанные камерой на дроне, анализируются на компьютере после его посадки. Разработчики провели эксперимент, во время которого они снимали с дрона один манекен и восемь человек, лежащих в четырех разных позах. Алгоритму удалось корректно классифицировать, жив ли человек в кадре, во всех случаях.