Российские исследователи разработали метод создания видеороликов с новых ракурсов, похожий на то, как люди представляют себе помещение, увидев его лишь с нескольких сторон. Сначала алгоритм создает из исходного ролика облако точек, описывающее геометрические и визуальные параметры сцены, а затем нейросеть создает на основе этого облака кадры с необходимых ракурсов.

Метод позволяет корректно воспроизводить на новом видео отражения и тонкие объекты, благодаря чему видео получается более реалистичным, чем при использовании альтернативных методов, пишут авторы в статье, опубликованной на arXiv.org.

Обычно автоматизированное создание 3D-модели помещения, человека или других объектов и последующий рендеринг кадров с новых ракурсов происходит в несколько этапов. Сначала необходимо сделать снимки сцены и получить данные о ее геометрических параметрах с помощью камеры глубины или другого инструмента для сканирования. Результат сканирования представляет собой объемное облако точек, причем обычно с довольно высоким уровнем шумов и неточностей, поэтому в дальнейшем облако точек превращают в полигональную модель.

Затем на основе данных с камеры модель дополняют текстурами, отражающими свойства материалов. Наконец, после создания модели необходимо провести рендеринг кадров, включающий в себя трассировку лучей для воссоздания реалистичного освещения и других оптических эффектов, таких как отражения от глянцевых поверхностей.

Исследователи из московского Центра искусственного интеллекта Samsung под руководством Виктора Лемпицкого (Victor Lempitsky) создали алгоритм, который синтезирует кадры сцен с новых ракурсов, минуя множество перечисленных этапов.