Алгоритм SurfNet способен восстанавливать форму предмета на фотографии, и может быть использован для проектирования объектов виртуальной и дополненной реальности и создания 3D-карт комнат для навигации роботов.

Аян Синха (Ayan Sinha) из MIT, в составе группы ученых, научили компьютер «восстанавливать» трехмерную форму объекта по его двухмерному изображению. Подробно о своей разработке исследователи рассказали на конференции, организованной Институтом инженеров электротехники и электроники, посвященной компьютерному зрению и распознаванию образов, а также в статье, выложенной на сайте arXiv. org.

Известно, что человеку нетрудно представить себе объемную форму предмета по его фотографии, будь то люди, автомобили или, скажем, собаки породы Сиба-ину (если кому интересно, это одна из шести сугубо японских пород, в 1936 г. объявленная в Японии национальным достоянием). У компьютеров с этим навыком дела обстоят куда хуже.

Ученые создали новый метод, основанный на своего рода «разворачивании». Вначале AI научился обрабатывать 3D-объекты как 2D-поверхности. Представьте себе, например, что мы берем шар, со всеми горами, и разглаживаем его прямоугольную карту, где каждая точка поверхности содержит информацию о широте, долготе и высоте. После большой практики новый алгоритм машинного обучения научился переводить фотографии трехмерных объектов в двухмерные плоскости, которые затем можно «сшить» в трехмерную форму (см. верхний ряд на иллюстрации). Исследователи обучили его реконструировать автомобили, самолеты и руки практически в любом положении.

Для сравнения авторы использовали более ранний метод, который превратил седаны в хэтчбеках и сделал самолеты слишком похожими птиц (см. второй ряд на иллюстрации). Новый метод смог более точно вывести трехмерные фигуры из фотографий — см. третий ряд на иллюстрации.

Новая программа под названием SurfNet (где Surf — сокращение от surface, «поверхность», уточняют авторы работы) также может изобрести совершенно новые, реалистично выглядящие 3D-формы для автомобилей, самолетов и рук. Будущие применения могут включать проектирование объектов для виртуальной и дополненной реальности, создание 3D-карт комнат для навигации роботов и проектирование компьютерных интерфейсов, управляемых ручными жестами.

[Иллюстрация: Purdue University]