Многие сверточные нейросети для распознавания изображений можно легко обмануть, немного изменив расположение объекта на снимке. Американские исследователи создали программное обеспечение для проверки нейросетей на подобные ошибки, а также показали, что даже одни из лучших нейросетевых алгоритмов корректно распознают одни и те же объекты лишь в трех процентах случаев.

Посвященная исследованию статья опубликована на arXiv.org.

На сегодняшний день нейросетевые алгоритмы научились с высокой точностью распознавать объекты разных классов, но в последние годы все большее количество исследователей обращают внимание на характерную проблему многих алгоритмов такого типа — уязвимость к состязательным примерам. Эти примеры представляют собой входные данные, которые специально созданы таким образом, чтобы заставить нейросетевую модель ошибиться и выдать некорректный результат. Особенность таких данных заключается в том, что иногда их отличие от нормальных изображений или других данных незаметно для человека.

В некоторых случаях ошибки нейросетей выглядят курьезно, к примеру, некоторые из них могут принять черепашку за винтовку. Но состязательные примеры так же представляют собой большую опасность из-за того, что нейросетевые алогоритмы получают все большее распространение в сферах с высокой ответственностью. Например, в прошлом году американские исследователи показали, как изменение освещения может заставить алгоритм управления беспилотным автомобилем свернуть в сторону металлического ограждения дороги. Кроме того, существуют исследования, показывающие, что сверточные нейросети для распознавания изображений испытывают проблемы не только со специально подготовленными изображениями, но и с обычными объектами, повернутыми в пространстве.

Ан Нгуен (Anh Nguyen) и его коллеги из Обернского университета и компании Adobe создали программное обеспечение, упрощающее тестирование нейросетевых алгоритмов на подобные ошибки. Программа позволяет моделировать объект с фоном, менять положение объекта, освещение и другие параметры. После определения параметров она создает двумерное изображение сцены и проверяет на нем нейросеть.

Пример использования программы airalcorn2 / GitHub

Разработчики решили проверить таким способом популярную разработанную в Google сверточную нейросеть Inception-v3, которая показывает один из лучших результатов при классификации фотографий из датасета ImageNet, содержащего миллионы изображений. Для своей работы они отобрали 30 высококачественных 3D-моделей объектов, которые чаще всего встречаются в поездках на автомобиле. Таким образом исследователи решили косвенно проверить, насколько такие ошибки опасны для алгоритмов беспилотных автомобилей. Для каждой модели было создано множество вариантов с разными углами поворота и изменением освещения.

Пример корректной (левый столбец) и некорректной классификации объектов / Michael Alcorn et al. / arXiv.org, 2018

Тестирование показало, что нейросеть Inception-v3 корректно распознает лишь 3,09 процента изображений одного и того же объекта, сделанных в разных условиях (положение и освещение). Ошибки классификации появлялись при повороте всего на 8 градусов. Также авторы работы показали, что состязательные примеры можно «перенести» на другие алгоритмы, обученные на других датасетах. Например, 99,9 процента таких изображений, созданных для исходной нейросети, также обманули другой алгоритм AlexNet. Кроме того, 75,5 процента изображений подошли для обмана алгоритма, обученного на другом датасете MS COCO. Разработчики опубликовали код созданного ими приложения для тестирования на GitHub.