Американские и японские разработчики научили нейросеть создавать 3D-модель человека по одной или нескольким фотографиям. Особенность алгоритма заключается в том, что он достаточно качественно воссоздает даже вид со спины, которая не видна на исходном снимке, рассказывают авторы статьи , которая будет представлена на конференции ICCV 2019.

Создание 3D-модели по 2D-снимку, например, обычной фотографии, связано с фундаментальной проблемой — одному и тому же плоскому снимку могут соответствовать объемные предметы разной формы. Тем не менее, если задача заключается в восстановлении формы объектов конкретного типа, то она значительно упрощается, потому что, к примеру, люди имеют похожую фигуру, хотя и различающуюся в некоторых пропорциях.

Еще одна проблема таких алгоритмов заключается в том, что фотография несет в себе данные лишь с одного ракурса. Кроме того, современные алгоритмы воссоздания объемной модели зачастую восстанавливают лишь ее саму, без учета цвета на снимке.

Разработчики под руководством Хао Ли (Hao Li) из Университета Южной Калифорнии научили нейросеть достаточно точно воссоздавать цветную модель тела человека со всех сторон, на основе одной или нескольких фотографий.