Исследователи обучили нейронную сеть для создания объемных моделей на основе изображений, отраженных в глазах. Исследователи из Университета Мэриленда использовали метод машинного обучения Neural Radiance Field (NeRF) для анализа изображений, которые можно обнаружить в зрачках зрителя. Система смогла восстановить масштаб объектов и построить упрощенные размытые 3D-модели окружающего пространства за пределами камеры.

Делая серию последовательных снимков движущегося человека, можно получить несколько различных видов сцены за пределами прямой видимости камеры через отражения в глазах, объясняют авторы работы. Сложность составляют только проблемы с оценкой точного положения глаз и сложное пересечение узора радужной оболочки глаз и отраженного изображения.

Программисты разработали метод, который уточняет положение роговицы, поле яркости, изображающее сцену, и текстуру радужной оболочки глаза наблюдателя. Геометрия роговицы примерно одинакова у всех здоровых взрослых людей. Из-за этого на основе количества пикселей можно идентифицировать местоположение глаз. После оценки положения система оценивает отражение, видимое на глазах, и аппроксимирует его на модель. Она корректирует цвета и ошибки, связанные с окрасом и спецификой глаз, увеличивает масштаб и убирает искажение, связанное с неровной (объемной) поверхностью глаза. В результате получаются немного размытые, но все же модели объектов.

Исследователи протестировали работу своей модели на синтетических и реальных снимках. Анализ показал, что в целом модель способна эффективно восстанавливать невидимые детали на основе отражений. Но для качественного результата в настоящее время требуется качественное освещение во время съемки. При этом, попытки использовать для распознавания клипы Майли Сайрус и Леди Гаги показали только, что Сайрус, по-видимому, смотрит на софиты, а Гага — на туловище человека.