Автор: Савелий @Safreliy. В предыдущей статьеhttps://habr.com/ru/articles/790560/ мы уже затрагивали задачу реконструкции 3D-объектов по их 2D-изображениям. В этой же углубимся в реконструкцию с головой! Вообще говоря, как мне кажется, сейчас мы рассмотрим гораздо более концептуально интересные методы, а именно – HSP и Mesh R-CNN. Это база, которая просто должна осесть в головах всех любителей ИИ в 3D!

HSP

Hierarchical Surface Prediction (HSP) можно попробовать перевести, как иерархическое предсказание поверхности. Это метод воксельной реконструкции 3D-объектов по их 2D-изображениям.

Воксели

Поскольку воксели являются краеугольным камнем реализации данного метода, остановимся на них поподробнее.

Воксели часто называют трёхмерным аналогом обычных пикселей, что неплохо отображено на следующей картинке

Пиксели vs Воксели

Они очень удобны для представления 3D-объектов сложной топологии, да и сами по себе являются достаточно естественным способом отображения нашего мира, как структурированного набора маленьких кирпичиков.

Какая основная проблема стоит перед нами, когда мы используем воксельную сетку? В первую очередь – это проклятие размерности, которое проявляется при увеличении детализации 3D-модели. Например, если мы будем напрямую хранить воксели в виде трёхмерного массива array[x][y][z], то для того, чтобы представить 3D-модель с детализацией хотя бы в 512 точек, нам понадобится 512³ байт, что в свою очередь равно 128 Мб. Короче, так себе история, имеем O(n³) по памяти.

Но люди не остановились и как всегда придумали более оптимальный способ представления данных. В случае вокселей – это октодеревья.