Уникальная база содержит более 600 тысяч изображений, из которых вручную размечено более 20 тысяч, полученных при сложных погодных условиях, а также данные c лидара, позволяющие создавать в реальном времени 3D-карту пространства, окружающего автомобиль. Датасет выложен в свободном доступе под открытой лицензией CC BY 4.0.

«Зимний» датасет собран командой разработчиков лаборатории интеллектуальной космической робототехники Сколковского института науки и технологий (Сколтех) для международного конкурса в области программного обеспечения для беспилотного транспорта Ice Vision. Его уникальной особенностью является фокус на обучении беспилотного транспорта работать в условиях российской зимы: во время гололеда, мокрого снега, при ограниченной и недостаточной видимости, встречном солнечном свете.

«Наличие качественных и всесторонних датасетов является одним из краеугольных камней в деле создания современных систем технического зрения. К сожалению, существующие открытые датасеты в области беспилотного автотранспорта содержат относительно мало данных собранных в зимних условиях, тем самым лишая разработчиков и исследователей возможности проверки своих систем в достаточно сложных и переменчивых условиях», – подчеркнул Артём Павлов, аспирант Сколтеха, руководитель проекта Open Skoltech Car, использованного для сбора датасета Ice Vision.

В базе собраны сжатые без потерь изображения, формирующие видеопоследовательности, снятые с частотой 30 Гц на российских дорогах в зимнее время года в разных погодных условиях и в разное время суток. Запись видеоданных велась при помощи двух цветных камер с «глобальным затвором» и разрешением 5 мегапикселей. Использование камер с «глобальным затвором» позволяет предотвращать искажения при съемке движущихся объектов или на большой скорости, что в частности важно для алгоритмов визуальной локализации и картографирования.

В датасете также содержатся данные лазерного сканирования местности с помощью трехмерного 64-х канального лидара, способного измерять 2,2 млн точек в секунду, и данные приёмников Спутниковых Систем Навигации. Собранный массив информации дает возможность создать систему, которая точно определяет местоположение автомобиля и «видит» окружающее пространство в 3D, что позволяет ей точно ориентироваться в текущей дорожной ситуации и принимать правильные решения.

Кроме того, база данных содержит в себе ручную, то есть сделанную живым человеком, разметку, объясняющую, где и какие знаки находятся в кадре. Наличие подобной разметки позволяет создавать системы распознавания дорожных знаков, в частности на основе искусственных нейронных сетей. Это открывает путь не только к автоматическому семантическому картографированию дорог, но и к созданию беспилотных машин, способных передвигаться по дорогам общего пользования с соблюдением правил дорожного движения без предварительно построенной детализированной карты, а так же способных реагировать на временные изменения на дорогах, связанные, например, с проведением дорожных работ.

«Создание своей базы данных практически невозможно для молодых исследовательских команд. Опубликованный датасет сможет стать хорошим инструментом для любой команды, чтобы обучить свою машину «видеть» знаки и дорожную ситуацию не только летом, но и зимой. Теперь им могут воспользоваться как производители беспилотных автомобилей, так и разработчики отдельных решений для беспилотного транспорта», – отметил заместитель генерального директора – директор по развитию инновационной инфраструктуры РВК Михаил Антонов.