Учёные из Университета Саймона Фрейзера представили новые возможности ИИ для смартфонов. Теперь с помощью обычной камеры можно создать и отредактировать 3D-модель объекта, рассматривая ее под любым углом. При этом редактирование интуитивно понятно, справится любой пользователь смартфона. Более того, из созданной 3D-модели можно в любой момент получить реалистичные двухмерные фото под разными углами, которые вы на самом деле не делали.

Технология получила название PAPR («Рендеринг точек внимания на близость»). Она может превратить набор 2D-фотографий объекта в облако 3D-точек, передающих его форму и внешний вид. Каждая такая точка позволяет влиять на характеристики модели: если перетащить ее, объект изменит форму, а если отредактировать свойства точки, изменится внешний вид. Затем в процессе рендеринга трехмерное облако точек можно просмотреть под любым углом и превратить в двухмерную фотографию, которая показывает объект так, как если бы фото сделали под таким углом в реальной жизни.

Учёные продемонстрировали возможности своей разработки на примере статуи: они сначала сделали 3D модель, а затем сгенерировали видео, на котором статуя качает головой.

3D-моделирование долгое время оставалось уделом профессионалов, потому что существующие технологии не позволяли редактировать модели удобным и интуитивно понятным способом. Например, такой популярный подход, известный как поля нейронного излучения (NeRF), требует от пользователя детального описания того, что происходит с каждой непрерывной координатой. Более поздний подход, известный как 3D Gaussian splatting (3DGS), тоже не дает изменять форму объекта — при малейшей ошибке она рвется на куски.

Дело сдвинулось с мертвой точки, когда исследователи поняли, что они могут рассматривать каждую трехмерную точку в облаке не как отдельное пятно, а как контрольную точку в непрерывном интерполяторе. При таком подходе, когда точка перемещается, форма объекта автоматически меняется интуитивно понятным способом. Это похоже на то, как сегодня создают анимированные видеоролики — аниматоры указывают положения объектов в несколько моментов времени, а их движение в каждый момент времени автоматически генерируется интерполятором.

Доктор Ке Ли, доцент кафедры информатики в Университете Саймона Фрейзера, сказал, что создание технологии оказалось сложнее, чем предполагала его команда: при работе с ИИ пришлось решать проблемы, которые не возникают при традиционном 3D-моделировании. Однако исследователи считают, что усилия того стоили: в скором времени человечество сможет пользоваться трехмерными визуализациями даже чаще, чем двухмерными. Будущие 3D-модели будут выглядеть гораздо привлекательнее и аккуратнее нынешних.