Учёные из Массачусетского технологического института построили 3D-дисплей, не требующий очков для просмотра. Его главные отличия от предшественников — широкий угол обзора, при котором сохраняется стереоэффект, причём не только по горизонтали, но и по вертикали, а также высокие яркость и разрешение.

Новинка называется HR3D. Это развитие экранов с параллаксным барьером (обычно — набором вертикальных прорезей в маске), который прикрывает от правого и левого глаза пиксели, предназначенные соответственно для левого и правого глаза.

Развитие, впрочем, оказалось столь глубокое, что авторам пришлось пересмотреть базовый принцип создания объёмного изображения, когда выводятся две смешанные картинки с чередующимися точками и существует «разделитель» этих картинок.

В классическом варианте, если вы хотите повысить качество изображения, вам требуется увеличить число одновременно выводимых параллаксных кадров и уплотнить параллаксный барьер. Это снижает количество света, проходящего через него. Яркость падает, и вам остаётся только поднимать мощность фоновой подсветки, что, к примеру, быстро сажает батарею мобильного устройства.

И ещё в такой схеме 3D-эффект работает только при нормальном расположении экрана. Поверните его на 90 градусов, и все стереопары рассыплются. Значит, если мы мечтаем обеспечить работу экрана при любом положении, придётся вводить и второй набор палаллаксных щелей, перпендикулярно первому. Фактически мы получаем маску со множеством крохотных дырочек, через которые до зрителя мало что доходит.

Рис. 1. Жёсткий параллаксный барьер, работающий в двух направлениях (слева), и изображение, выводимое экраном без барьера (справа). Набор отверстий позволяет каждому глазу видеть только нужные пиксели. Эта схема обеспечивает 3D-эффект в некоторых современных автостереоскопических дисплеях, но расплата за такой приём — большие потери света (иллюстрация Camera Culture/MIT Media Lab).

Важно подчеркнуть, что такая маска остаётся фиксированной для любого изображения. Отсюда негативный результат: яркость падает катастрофически, стереоскопический эффект — нестойкий, достоверность передачи изображения — низкая.

Выход из затруднительного положения оказался радикальным — параллаксный барьер сам должен стать жидкокристаллическим экраном. И работать он должен на просвет, да ещё в реальном времени подстраиваться под изображение, выдаваемое основным (нижним) экраном.

Так вместо горизонтальных или вертикальных щелей мы создаём армию произвольно переключаемых затворов-точек, показывающих нам нужные пиксели с нижнего дисплея, вне зависимости от того, с какой стороны мы на него смотрим.

Рис. 2. Общий принцип HR3D. Жёлтым цветом показана подсветка. Далее идут две наложенные друг на друга ЖК-матрицы, формирующие уникальный поток для каждого из глаз зрителя (иллюстрация Camera Culture/MIT Media Lab).

От такой сырой идеи до финального варианта нового 3D остаётся сделать один шаг: пиксели на переднем экране тоже должны быть «переменными» по яркости, а итоговое изображение — комбинацией кадров от двух ЖК-матриц, наложенных друг на друга с некоторым зазором (чтобы с разных точек зрения получались разные суммы лучей). Так и родился, по определению самих авторов изобретения, «параллаксный барьер, адаптирующийся к контенту» (Content Adaptive Parallax Barrier).

Именно его сотворили специалисты из Массачусетского технологического института. Они распотрошили два серийных ЖК-экрана, удалили с матриц ненужные в проекте поляризационные фильтры и дополнительные покрытия, а потом собрали из двух экранов экспериментальный прототип дисплея HR3D.

Рис. 3. Чтобы извлечь ЖК-матрицу из серийного дисплея и подготовить её для включения в состав HR3D (справа внизу), изобретателям потребовались отвёртка, ластик и ацетон (для удаления клея) (фотографии Camera Culture/MIT Media Lab).

Очевидно, главная его изюминка — вовсе не «железо», а софт. Для каждого кадра исходного объёмного контента необходимо создать два дополняющих друг друга изображения, которые при наложении создадут иллюзию объёма. Нижняя картинка тут является своего рода зашифрованной основой, а верхняя дешифратором.

В пресс-релизе института сказано, что, начиная работу, её авторы даже не знали, как будет выглядеть «оживший» шаблон для параллаксного барьера, заточенный под конкретный кадр. Выяснилось, что он напоминает собою нижнее изображение, хотя не совпадает с ним.

Рис. 4. Отличие нового метода вывода 3D-контента (внизу) от прежнего (вверху). Исходный контент (1), то есть компьютерная графика или съёмка 3D-камерой, преобразуется в интегрированное световое поле (2), например набор картинок 3 х 3, показывающих предмет с разных точек зрения. Затем происходит вычисление выводимого дисплеем изображения (3). В старом варианте это искусное перемешивание пикселей от нескольких картинок в едином кадре (4), к которому прилагается статичный параллаксный барьер (5), а в новом — формирование набора из разделённых во времени пар «маска — кадр» (6 и 7). Далее кадры выводятся на задний ЖК-экран (8), который в старом методе — единственный. Эти кадры сверху прикрываются фиксированной маской (9) в прежнем способе или второй ЖК-матрицей (10) — в новом. В обоих случаях достигается восприятие трёхмерного образа (11) (иллюстрация Camera Culture/MIT Media Lab).

Построение таких пар требует огромного объёма вычислений. Чтобы на выходе двух складываемых потоков получить желаемое световое поле, приходится вводить понятие «ранг светового поля», заниматься факторизацией неотрицательных матриц и прочими зубодробительными вещами. Читателям же, далёким от математики, достаточно узнать, что обсчёт одного кадра для вывода по системе HR3D занимает до 20 минут машинного времени.

Разумеется, зритель столь долго не ждёт. Речь идёт о предварительном переводе 3D-контента в формат, понимаемый новым дисплеем. При этом ради сочетания приемлемой чёткости и точности линий с яркостью и контрастностью в системе HR3D приходится каждый кадр ещё и дробить на несколько более простых субкадров, выводимых последовательно с высокой частотой (благо исходные ЖК-матрицы, задействованные в эксперименте, физически способны выдавать 120 кадров в секунду).

Рис. 5. Между прочим, HR3D — это сокращение от High-Rank 3D, то есть «3D высокого ранга». Смысл авторы системы вкладывают такой. Простое 3D-изображение, выводимое через параллаксный барьер, имеет ранг 1. Если вы хотите воспроизвести его через две матрицы (для обеспечения эффекта параллакса по горизонтали и вертикали), вы снижаете ранг (грубо говоря, сочетание деталировки и яркости). Ведь так множество лучей получают сильные ограничения по углу обзора. Новая система, хотя формирует картинку из кадров низкого ранга, после их смешения получает (в глазах зрителя) 3D-изображение высокого ранга. На этом рисунке показан пример пары маска (фронтальное изображение) и кадр (заднее изображение). Это вовсе не картинки для левого и правого глаза, как можно подумать. Но при суммировании в двухслойном дисплее они создают эффект объёма (иллюстрация Camera Culture/MIT Media Lab).

Программа, обрабатывающая первоначальное изображение, решает задачу оптимизации. Она подбирает пары картинок для верхнего и нижнего ЖК-слоя так, чтобы и качество суммарного изображения было хорошим, и чтобы мелькание кадров было не слишком заметным.

С дисплеем, в котором за разделение двух частей стереопары отвечает жёсткий параллаксный барьер, такой трюк не пройдёт. А ведь результат стоит усилий: при одинаковой мощности задней подсветки HR3D-экран может быть втрое ярче предшественников. Значит, уровень его подсветки можно снизить, а расход энергии — сократить. Для мобильных устройств это очень важно.

Рис. 6. Новый дисплей учёные построили просто — прикрутив одну жидкокристаллическую матрицу поверх другой (фото Camera Culture/MIT Media Lab).

В связи с «энергетикой» нужно вспомнить о другом варианте разделения картинок для правого и левого глаза — лентикулярных линзах. Свет они практически не задерживают. Но, будучи приклеенными к экрану, они не могут быть выключенными, в отличие от верхней ЖК-матрицы. Потому со второй устройство легко переводить в 2D-режим с сохранением высокого качества картинки.

Добавьте к этому набору достоинств полный параллакс при смещении зрителя в любом направлении от центра экрана, и вам покажется, что HR3D — идеальная замена существующим дисплеям. Но на деле новинку хвалить пока можно лишь авансом.

Рис. 7. Прототип дисплея и его
создатели (слева направо) Рамеш
Раскар (Ramesh Raskar), Дуглас Ланман
(Douglas Lanman) и Мэттью Хирш
(Matthew Hirsch) (фото Matthew Hirsch).

Ведь в случае использования такого дисплея в мобильной электронике чуть ли не всю энергию, сэкономленную на подсветке экрана, придётся отдать процессору. Он будет загружен по самое горло обработкой стереокадров. И это серьёзный барьер на пути внедрения адаптирующегося параллаксного барьера.

Работа (PDF-документ) по HR3D была представлена в декабре прошлого года на выставке SIGGRAPH Asia 2010. Добавим, что этот оригинальный дисплей — детище научной группы Camera Culture профессора Рамеша Раскара.