Ученые из Университета Пердью разработали и запатентовали метод HADAR TeX vision, который улучшает машинное зрение и его способность воспринимать окружающее пространство. Эта технология позволяет обнаруживать и определять объекты пассивно через тепловое излучение. HADAR восстанавливает текстуры и глубину даже в условиях ограниченной видимости, превращая тьму в ясное изображение. Его можно применять в автоматизированных транспортных средствах и роботах.

Традиционные активные сенсоры, такие как LiDAR (лазерное обнаружение и измерение), радар и сонар, испускают сигналы, а затем принимают их для сбора трехмерной информации о пространстве. У этих методов есть недостатки, которые проявляются при масштабировании, например, помехи сигнала и опасности для здоровья глаз человека. В сравнении с этими методами, видеокамеры, которые работают на основе солнечного света или других источников освещения, имеют преимущества. Но серьезным препятствием остаются условия слабой освещенности — ночное время, туман или дождь.

Традиционное тепловидение — это полностью пассивный метод обнаружения, который собирает невидимое тепловое излучение, исходящее от всех объектов в пространстве. Но некоторые фундаментальные проблемы препятствуют его использованию сегодня.

«Предметы и окружающая среда постоянно испускают и рассеивают тепловое излучение, что приводит к созданию изображений без текстур. Это называется „эффект призрака“. Тепловые снимки лица человека показывают только контуры и некоторые различия в температуре, они не содержат деталей, что и делает их похожими на призраков. Эта потеря информации, текстур и особенностей становится проблемой для машинного распознавания на основе теплового излучения», — объяснил научный сотрудник и один из разработчиков Фанглин Бао.

HADAR объединяет теплофизику, инфракрасное изображение и машинное обучение. Благодаря этому датчик способен восстанавливать текстуру из зашумленных тепловых сигналов и точно разделять температуру, излучательность и текстуру всех объектов в пространстве. Он способен видеть текстуру и глубину даже в условиях ограниченной видимости, как будто это день, а также воспринимать физические характеристики, выходящие за пределы стандартных видимых изображений (RGB) или традиционного теплового зондирования.

Команда протестировала зрение HADAR TeX в ночном бездорожье. HADAR преодолел «эффект призрака» и восстановил мелкие текстуры — водную рябь, морщины коры, траву и водопропускные трубы.

Но и у этого устройства есть недостатки. Нынешний датчик большой и тяжелый, поскольку алгоритмы HADAR требуют многоцветного невидимого инфракрасного излучения. Чтобы применить устройство к беспилотным автомобилям или роботам, нужно сделать его меньше и доступнее по цене, а также ускорить работу камер. Сейчас сенсор создает одно изображение в секунду, но для автономных автомобилей нужна скорость съемки от 30 до 60 кадров в секунду (герц) для плавной работы системы.

Технология HADAR TeX vision должна найти применение в автоматизированных транспортных средствах и роботах, которые работают в сложных условиях и взаимодействуют с людьми. Однако данная технология может быть также адаптирована для использования в сельском хозяйстве, обороне, геолого-геофизических исследованиях, здравоохранении и наблюдении за дикой природой.