Инженеры из Google научились создавать реалистичную модель двигающегося человека и встраивать ее в виртуальное пространство, меняя освещение модели соответствующим образом. Они создали стенд с несколькими десятками камер и сотнями управляемых источников освещения, внутри которого находится человек.

Система быстро меняет освещение и снимает человека с разных сторон, а затем объединяет эти данные и создает модель, которая с высокой точностью описывает как форму тела и одежды, так и их оптические свойства. Разработка будет представлена на конференции SIGGRAPH Asia 2019, статья о ней опубликована на сайте авторов.

Технологии захвата движения и создания виртуальных аватаров уже не первый год используются в различных сферах. Некоторые из них (например, те, которые применяют при съемках фильмов) основаны на захвате именно движений лица и других частей тела, записи чего потом используются для анимации другого персонажа. В тех случаях, когда важно сохранять внешний вид человека, используются системы из множества камер.

Некоторым разработчикам в этой сфере удалось достичь достаточно качественных результатов. Например, Intel использует на некоторых спортивных стадионах систему, позволяющую воспроизводить повторы с любого ракурса. Однако такие системы не умеют собирать данные об оптических свойствах предметов и получаемую с их помощью модель нельзя реалистично перенести в окружение с другим освещением.

Группа инженеров Google под руководством Пола Дебевека (Paul Debevec) и Шахрама Изади (Shahram Izadi) создала съемочный стенд и программное обеспечение, позволяющие создавать модель, реалистично отражающую как форму, так и оптические свойства человека в движении, а также переносить эту модель в другое окружение и подстраивать освещение под него.