Исследователи из Технологического университета Тоёхаси в Японии разработали новый метод автоматического определения позы человека. Они научили нейросеть генерировать объемные модели тела и размечать на них его части. Созданная ими открытая база данных с 10 тысячами объемных изображений поможет роботам лучше выявлять опасные для здоровья человека ситуации. Статья опубликована в журнале Pattern Recognition и доступна на сайте издательства Elsevier.

Важная черта робота-помощника, работающего с людьми с ограниченными возможностями и пациентами медицинских учреждений, — умение различать позы тела человека. Этот навык полезен при определении опасных для жизни ситуаций: например, падения в результате обморока или припадка. Системы для автоматического определения положения тела человека уже разрабатывались, однако они, в основном, умеют определять позу человека только в положении стоя или сидя, когда все части тела могут быть распознаны. Другое ограничение уже существующих методик заключается в том, что они могут распознать только цветные изображения человека, что может вызвать трудности при определении позы в плохо освещенном месте.

Авторы новой технологии создали базу данных, которая содержит объемные изображения человека с размеченными частями тела. Сгенерировав модель человеческого тела, исследователи добавили к ней информацию о скелете для определения изгибов в различных позах и цветную разметку частей тела (всего десять частей тела, включая голову, торс и части конечностей). С помощью технологии захвата движений к модели затем добавили информацию о различных движениях и положениях тела реальных людей. Результатом этого процесса является объемное изображение человека в различных позах и с размеченными цветом частями тела.

Схема создания объемных изображений человеческого тела. Nishi & Miura / Patter Recognition 2017

База данных затем была использована для обучения полносверточной нейросети (fully convolutional network, коротко FCN), работающей с применением глубокого обучения. Применение этой нейросети для распознавания частей тела реальных людей дает хорошие результаты: так, например, голова была правильно распознана в 69 процентах случаев, а голень левой ноги – в 86 процентах случаев.

Исследователи планируют улучшить свою технологию и заняться разработкой робота-помощника, способного выявлять опасные для жизни ситуации, основываясь на определении позы, и оказывать нужную помощь. О роботе-помощнике для инвалидов, представленном компанией Toyota, вы можете прочитать в нашей заметке.

Автор: Елизавета Ивтушок