Группа американских ученых из Бостонского университета во главе с Вивеком Говалем разработала компьютерный алгоритм, который позволяет превратить любую цифровую фотокамеру в устройство, способное относительно точно распознавать изображения и объекты, скрытые из области ее прямой видимости.

Работа ученых опубликована в Nature.

Современные фотокамеры не способны видеть объекты, скрытые от них за какими-либо предметами. Тем не менее, существует несколько способов реконструировать часть информации о скрытом объекте по яркости и цветности отраженного от него света.

В своей работе ученые из Бостонского университета использовали некое подобие эффекта перископа. Между цифровой камерой и экраном, на который выводилось некоторое изображение, была размещена непрозрачная перегородка. Перед камерой и экраном ученые установили белую перегородку.

Сперва исследователи пытались реконструировать изображение, показываемое на экране (гриб из серии игр про Марио, улыбающаяся физиономия, буквы BU, цветные полосы и белые геометрические фигуры на черном фоне), по теням и пятнам на белой стене, которые снимала камера и передавала на компьютер. Четкого результата получить не удалось, однако алгоритм смог выделить основные цвета изображения.

Затем исследователи разместили вне зоны видимости камеры между стеной и экраном обтюратор, приспособление перекрывающее часть светового потока от объекта. В качестве обтюратора использовался прямоугольный лист фанеры на стойке.

С использованием обтюратора компьютерному алгоритму удалось частично реконструировать изображения, показывавшиеся на экране. Затем ученые провели серию экспериментов и выяснили, что наилучших результатов реконструкции удается добиться в двух случаях: если обтюратор во время съемки перемещается и если обтюратор неподвижен, но его позиция точно известна.

Исходный код своего алгоритма ученые опубликовали на GitHub.

В 2017 году исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института представили систему, которая позволяет по теням и цветовым пятнам на полу определять количество объектов за углом и траекторию их движения. При этом сами объекты в поле зрение камеры не попадают. Представленный прототип системы работает с обычной зеркальной камерой. Алгоритм способен улавливать малейшие, незаметные человеческому глазу, изменения в освещенности и цветовом спектре по изображению пола рядом с углом стены.