В наше время БПЛА всё более активно используются правоохранительными органами и спецслужбами. Обычно для шпионажа, разведки, пограничного контроля и т. д. Полиция пока не очень активно применяет дроны для патрулирования городских улиц. А ведь здесь кроется огромный потенциал. Патрульные беспилотники позволяют значительно сэкономить на зарплате персонала. Они покрывают большие территории и отлично видят в темноте.

В связи с ростом преступности и угрозой терроризма во многих странах власти заинтересованы в усилении контроля над гражданским населением. Беспилотники с автоматическим распознаванием насилия — это системы нового поколения, которые открывают двери для ещё более автономных и систем интеллектуального реагирования на уличные беспорядки и хулиганство.

Раньше БПЛА использовались преимущественно в «ручном» режиме. Так они находятся под управлением оператора, который одновременно и отслеживает картинку с видеокамеры. Но такой режим сильно ограничивает массовое использование беспилотников, поскольку каждому БПЛА нужен отдельный оператор.

Системы машинного зрения снимают такое ограничение. Они позволяют отправлять сотни и тысячи дронов по указанным маршрутам, а оператор обращает внимание только на сигналы тревоги, которые срабатывают при распознавании определённых признаков. Уже разработаны такие системы автоматического патрулирования объектов для обнаружения пожаров, повреждений трубопровода и др. В 2010 году для правоохранительных органов разработана система с идентификацией «заброшенных объектов», то есть сумок и пакетов, оставленных в общественных местах. Система автоматического распознавания насилия — следующий логичный шаг, позволяющий использовать БПЛА для патрулирования скоплений людей и общественных мест.

Иллюстрация слева показывает 14 ключевых точек на человеческом теле, которые распознаёт система машинного зрения: голова, шея, плечи, локти, запястья, бёдра, колени, лодыжки. Справа вверху беспилотник Parrot AR с системой распознавания насилия. Справа внизу отдельные элементы фотографии из обучающего набора данных с ключевыми точками

В 2009 году опубликована научная работа с описанием системы машинного зрения для автоматического распознавания преступлений в общественных местах с помощью анализа движений. Она с точностью около 85% определяет такие действия как выхват кошелька у прохожего, похищение ребёнка и др.

Такие системы очень успешны в выявлении различных преступных действий. Несмотря на впечатляющую точность (в некоторых случаях более 90% точности) у них весьма ограниченная сфера действия.

В 2014 году исследователи предложили первую систему для БПЛА для автоматического распознавания насилия в общественных местах, первую в своём роде систему, которая использовала модель деформируемых частей для оценки позы человека с дальнейшей идентификацией подозрительных лиц по их позам. Это чрезвычайно сложная задача машинного зрения, потому что фотографии и видео с дрона могут страдать от изменения освещения, теней, низкой детализации и размытия. Кроме того, люди появляются в разных местах кадра и в разных положениях. Система определяла насилие с точностью около 76%, что гораздо ниже, чем у узкоспециализированных систем, описанных выше.

Новая разработка учёных из Кембриджского университета (Великобритания), Национального технологического института (Индия) и Индийского института наук в Бангалоре представляет улучшенную систему автономного распознавания насилия в реальном времени с применением признаковой пирамиды (feature pyramid network, FPN), гибридной сети глубокого обучения ScatterNet (ScatterNet Hybrid Deep Learning, SHDL) и расчётом ориентации между конечностями расчётной позы по методу опорных векторов (support vector machine, SVM). Детально работа конвейера распознавания показана на иллюстрации.

Конвейер предсказания позы человека, который можно использовать для предсказания насилия в скоплениях людей и общественных местах. Фреймворк сначала распознаёт людей на кадрах, снятых камерой беспилотника. Фрагменты фотографий с изображениями людей поступают в качестве входных данных для сети SHDL, где на фронтенде работает ScatterNet для извлечения с входных изображений описанных вручную признаков. Извлечённые признаки с трёх слоёв объединяются и подаются на вход четырём свёрточным слоям регрессионной сети, которая работает на бэкенде.

Средняя точность распознавания насилия в новой системе составляет 88,8%, в том числе ударов рукой — 89%, ногой — 94%, стрельбы — 82%, удушения — 85%, а колющих ударов ножом — 92%. Это значительно выше, чем у предыдущей системы 2014 года.

Научная статья опубликована 3 июня 2018 года на сайте препринтов arXiv.org и будет представлена на конференции IEEE по компьютерному зрению и распознаванию образов IEEE Computer Vision and Pattern Recognition (CVPR) Workshops 2018.