Ученые давно ищут способ создания компьютерных голограмм, но этот процесс требует огромных мощностей, и даже в этом случае результат получается не то чтобы фотореалистичный. Однако специалисты из MIT придумали новый способ почти мгновенного получения голографических изображений. Метод, основанный на глубоком обучении, настолько энергоэффективен, что его можно запустить даже на ноутбуке. При этом сама нейросеть, которая генерит голограммы, требует менее 1 Мб памяти. Это значит, что в будущем технология может появиться во всех смартфонах.

Несмотря на ажиотаж, окружающий технологию VR, телевизоры и мониторы все еще остаются главным способом потребления видеоконтента. Одна из причин тому — неприятные ощущения во время просмотра виртуального контента. Тошнота и усталость глаз возникают из-за того, что VR создает иллюзию трехмерного пространства, хотя на самом деле пользователь смотрит на неподвижный 2D-экран. Решением может стать технология 60-летней давности, адаптированная под цифру: голография.

Обычная фотография с помощью линзы преобразует яркость каждой волны света, верно передавая цвета, но делая изображение плоским. Голограмма же, напротив, кодирует и яркость, и фазу каждой волны, что придает сцене параллакс и глубину. Однако создавать их непросто.

Первые голограммы, разработанные в середине XX, записывались оптически, с помощью расщепления лазерного луча. Затем появились компьютерные голограммы, которые моделировали оптический процесс, но они требовали высоких вычислительных мощностей. На одно изображение могло уйти несколько секунд или минут вычислительного времени суперкомпьютера. Вдобавок существующие алгоритмы не моделировали окклюзию с фотореалистичной точностью.

Поэтому ученые из MIT пошли другим путем: они позволили компьютеру самому научиться законам физики. Для этого они применили глубокое обучение и разработали сверточную нейронную сеть, рассказывает MIT News.

Тренировка нейросети обычно требует большой базы данных, которой для голограмм нет. Исследователи создали собственную, состоящую из 4000 пар компьютерно-сгенеренных изображений. Каждая пара увязывала картинку, включая информацию о цвете и глубине каждого пикселя, с соответствующей голограммой. Для создания голограммы в новой базе данных ученые использовали сцены с комплексными и меняющимися формами и цветами, а также другими параметрами, которые обеспечили фотореалистичность материала для обучения.

Изучив каждую пару изображений, нейросеть смогла изменить параметры собственных вычислений, успешно повысив способность создания голограмм. Полностью оптимизированная нейросеть работала на несколько порядков быстрее, чем в случае вычислений, основанных на стандартном обсчете физики.

За какие-то миллисекунды тензорная голография (как назвали метод его авторы) может создавать голограммы из изображений с информацией о глубине, которая есть в обычных компьютерных картинках или высчитывается с помощью камер или лидаров. Более того, компактная тензорная сеть требует менее 1 Мб памяти, так что вполне может поместиться на обычном смартфоне.