Британские инженеры научили фотоматрицу распознавать знакомые ей места, не используя для этого отдельный компьютер. Во время первого прохождения мест она сохраняет сжатое представление кадров, а при повторном прохождении сравнивает новые кадры с ними и ищет совпадения.

Тесты показали, что матрица узнает места даже в другое время года, рассказывают авторы статьи, представленной на конференции ICRA 2021.

Традиционно фотоматрица выполняет довольно простую задачу — собирает со всех пикселей значения яркости и записывает в единый кадр. Дальнейшая обработка уже происходит на стороне устройства, то есть для этого используется отдельный процессор, память и программное обеспечение. Но некоторые исследователи и компании работают над альтернативными типами матриц, которые самостоятельно способны выполнять простые операции.

Например, Nikon недавно представила прототип матрицы с вычислительными элементами под пикселями, которые во время съемки подбирают для них значения экспозиции, чтобы добиться большого динамического диапазона. Также развивается направление событийных камер, в которых каждый пиксель снимает не синхронно с остальными, а только когда фиксируемая им яркость превышает заданный порог.

Инженеры из Бристольского университета под руководством Вальтерио Майол-Кэуваса (Walterio Mayol-Cuevas) воспользовались матрицей SCAMP со встроенными аналогово-цифровыми вычислительными элементами и научили ее запоминать и распознавать места на аппаратном уровне, не используя какие-либо внешние вычислительные устройства.