Лидары и камеры — два стандартных элемента конфигурации практически любого робомобиля. Как первые, так и вторые работают с отражаемым светом. Камеры при этом работают в пассивном режиме, то есть ловят отражение сторонних источников освещения, а вот лидары генерируют лазерные импульсы, измеряя затем «ответку», отраженную от близлежащих объектов. Камеры формируют двумерную картинку, а лидары — объемную, нечто вроде «облака точек».

Компания Ouster разработала гибридное устройство, которое работает как камера, так и как лидар. Называется эта система OS-1. У этого девайса апертура больше, чем у большинства зеркалок, при этом сенсор, созданный компанией, очень чувствительный.

Изображения, получаемые системой, состоят из трех слоев. Первый — это изображение, полученное как бы обычной камерой. Второе — «лазерный» слой, полученный с использованием отражения луча лазера. И третий — это «глубинный» слой, который позволяет оценивать расстояние между отдельными пикселями первых двух слоев.

Стоит отметить, что у изображений по-прежнему есть существенные ограничения. Во-первых, это изображения низкого разрешения. Во-вторых, они черно-белые, не цветные. В-третьих, лидар работает не с видимым источником света, он имеет дело со спектром, близким к инфракрасному.

В настоящий момент стоимость лидара достаточно высокая — около $12 000. На первый взгляд, смысла в системе, которая получает изображения более низкого разрешения, чем стандартные камеры, а стоит, как чугунный мост, нет. Но разработчики утверждают, что здесь используется иной принцип работы, чем в обычном случае.

Это графические материалы, предоставленные компанией Ouster. Здесь показаны три слоя изображений и общая «картинка», что получается в результате

В обычной ситуации робомобили совмещают данные с нескольких различных источников, что требует времени. Камеры и лидары работают в разных режимах, результат работы — тоже разный. Кроме того, они обычно смонтированы в различных местах корпуса автомобиля, так что компьютеру приходится еще и заниматься корреляцией изображений, чтобы они были совместимы. Более того, сенсоры требуют регулярной рекалибровки, что сделать не так просто.

Некоторые разработчики лидаров уже пробовали совмещать камеру с лидаром. Но результаты получались не очень. Это была система «стандартная камера+лидар», что не слишком отличалось от существующих схем.

Ouster вместо этого использует систему, позволяющую OS-1 собирать все данные в одном стандарте и из одного положения. Все три слоя изображения превосходно коррелируют, как во времени, так и в пространстве. При этом компьютер понимает, какое расстояние между отдельными пикселями финального изображения.

По словам авторов проекта, именно такая схема практически идеальна для машинного обучения. Для компьютерных систем обработка такого рода изображений не представляет особого труда. «Скормив» системе несколько сотен снимков, ее можно обучить точно понимать, что изображено на финальной «картинке».

Некоторые разновидности нейронных сетей спроектированы таким образом, чтобы без проблем работать с мультислоями пиксельных карт. Кроме того, изображения могут содержать красный, синий и зеленый слой. Обучить такие системы работать с результатом работы OS-1 не составляет особенного труда. Компания Ouster уже решила эту задачу.

В качестве исходного материала они взяли несколько нейросетей, которые разработаны для распознавания RGB-изображений, и модифицировали их под свои нужды, научив работать с разными слоями своих изображений. Обработка данных ведется на оборудовании с Nvidia GTX 1060. При помощи нейросетей компьютер автомобиля научили «раскрашивать» дорогу в желтый цвет, а потенциальные препятствия — другие автомобили — в красный.

По мнению разработчиков, их система является дополнением к уже существующим, а не заменой. Лучше всего совмещать разного рода датчики, сенсоры, камеры, лидары и гибридные системы для формирования четкой картины окружающей среды, которая поможет автомобилю ориентироваться.