Исследователи из Лаборатории искусственного интеллекта Массачусетского технологического института представили MoSculp — программу, которая умеет делать объемные скульптуры движения объекта на основе видеоклипов. Алгоритм покадрово анализирует видео движения и воссоздает его трехмерную форму, визуализируя движение в виде волн. Статья с описанием работы опубликована на arXiv.

Анализировать сложные движения объектов на статичных фотоснимках очень тяжело, поэтому вместо этого используются другие методы: замедленная съемка или разновидности фотографии. К примеру, метод хронофотографии позволяет визуализировать движения объекта с помощью снимков, сделанных с небольшими промежутками: на готовом изображении можно увидеть весь процесс движения. Тем не менее, все используемые для визуализации движения методы имеют важное ограничение: они позволяют рассмотреть его только в двумерном пространстве. Для тщательной оценки сложной моторики, однако, движение необходимо оценить в объеме.

Группа разработчиков и дизайнеров под руководством Сюмин Чжана (Xiuming Zhang) из MIT придумала способ для решения этой задачи. Алгоритм детекции движения и его последующей трехмерной визуализации сначала отмечает двумерный объект на видео через все кадры. Затем он воссоздает трехмерную форму объекта на основе всех кадров, создавая его «скелет». Затем этот «скелет» используется для визуализации движения на видео, в результате чего движение обретает форму.

В программе, как отмечают создатели, можно выделить желаемую зону движения (например, все тело, только руки или только ноги), а также выбрать его текстуру: визуализировать движение в древесине или коже. Полученную скульптуру можно рендерить в объемное изображение. Посмотреть на другие примеры работы MoSculp, а также скачать и попробовать программу самостоятельно можно на сайте лаборатории.

Сделанные с помощью MoSculp скульптуры также можно распечатать на 3D-принтере.

Автор: Елизавета Ивтушок