Автор: Савелий. В последнее время мы оцениваем на удивление много проектов, так или иначе связанных с 3D-пространством и нейросетями. По всей видимости, по прошествии 2023 года люди воодушевились и начали видеть возможность реализации тех идей, которые ранее просто-напросто казались научной фантастикой – и они не ошибаются! Исследователи и разработчики последних технологий достигли сногсшибательных результатов.

В связи с этим, хотел бы накидать цикл обзорных статей, которых как мне лично, так и нашей рабочей группе очень сильно недоставало в процессе ресёрча.

Введение

Почему 3D? В отличие от тех же LLM или диффузионных 2D-моделей, тема, на первый взгляд, совершенно не хайповая и, наверное, для восприятия более сложная, ну вот как-то не на слуху она совсем. Однако, понимая очевидную тенденцию развития технологий в этом направлении (VR/AR/Цифровые аватары и пр.), а также, учитывая обыденное устремление человеческого познания в отношении нашего 4D мира, будет глупо отрицать, что в ближайшее время нас захлестнёт волна открытий в данной области. В связи с этим, хотел бы поучаствовать в создании плацдарма, который позволит большему числу людей ознакомиться с существующими подходами и в том числе даст мотивацию как на углубление своих знаний, так и на создание новых.

Тема обширная, обозреть нужно много чего, поэтому повествование организую следующим образом: сначала я буду обозначать весомую для всей области модель машинного обучения, объясню принципы её работы своими словами, в процессе также предоставлю источники, которые стоит почитать/посмотреть для дальнейшего погружения в тему.

В первой части цикла рассмотрим следующие модели:

1. NeRF
2. GIRAFFE
3. SMPL
4. SMPLify
5. SMPL-X

В следующих частях будем иметь дело с более продвинутыми моделями для реконструкции 3D из 2D:

1. Mesh R-CNN
2. HSP
3. NeuralRecon
4. LegoFormer
5. Neural Fields as Learnable Kernels for 3D Reconstruction
6. Zero123
7. One-2–3–45

А также поразмышляем о том, что нас ждёт в недалёком будущем.