Исследователи из Принстонского университета разработали инструмент, который выявляет потенциальные предубеждения в наборах изображений, используемых для обучения систем искусственного интеллекта. Работа является частью более масштабного проекта по исправлению и предотвращению предубеждений, проникших в системы ИИ, которые влияют на все — от кредитных услуг до программ вынесения приговоров в зале суда.

Хотя источники предвзятости в системах ИИ разнообразны, одной из ее основных причин являются стереотипные изображения, содержащиеся в больших наборах данных, собранных из онлайн-источников, которые инженеры используют для развития компьютерного зрения. Это ветвь ИИ, которая позволяет компьютерам распознавать людей, объекты и действия. Поскольку фундамент компьютерного зрения строится на этих наборах данных, изображения, отражающие социальные стереотипы и предубеждения, могут непреднамеренно влиять на модели компьютерного зрения.

Чтобы помочь устранить эту проблему в ее первоисточнике, исследователи из Princeton Visual AI Lab разработали инструмент с открытым исходным кодом, который автоматически обнаруживает потенциальные искажения в наборах визуальных данных. Инструмент позволяет создателям наборов данных и пользователям исправлять проблемы недопредставленности или стереотипного изображения до того, как коллекции изображений будут использоваться для обучения моделей компьютерного зрения.

В соответствующей работе члены Visual AI Lab опубликовали сравнение существующих методов предотвращения предвзятости в самих моделях компьютерного зрения и предложили новый, более эффективный подход к снижению предвзятости .

Первый инструмент, называемый REVISE, использует статистические методы для проверки набора данных на предмет потенциальных предубеждений или проблем недопредставленности по трем измерениям: объектному, гендерному и географическому.

REVISE оценивает содержимое набора данных, используя существующие аннотации к изображениям и такие измерения, как количество объектов, совместное присутствие объектов и людей, а также страны происхождения изображений. Среди этих измерений инструмент выявляет закономерности, которые отличаются от медианного распределения.

В одном наборе данных REVISE выявил потенциальную гендерную предвзятость в изображениях, на которых изображены люди (красные прямоугольники) и орган музыкального инструмента (синие прямоугольники). Анализ распределения предполагаемых трехмерных расстояний между человеком и органом показал, что мужчины, как правило, изображались как фактически играющие на инструменте, тогда как женщины часто просто находились в том же пространстве, что и инструмент. Предоставлено: Princeton Visual AI Lab.

Например, в одном из протестированных наборов данных REVISE показал, что изображения, включающие людей и цветы, различались у мужчин и женщин: мужчины чаще появлялись с цветами на церемониях или встречах, а женщины, как правило, появлялись в постановочных декорациях или картинах.

Как только инструмент выявляет такого рода несоответствия, «возникает вопрос, является ли это совершенно безобидным фактом или происходит нечто более важное, и это очень трудно автоматизировать», — объясняет Ольга Русаковская, доцент кафедры информатики и главный исследователь Visual AI Lab.

«Практика сбора наборов данных в компьютерных науках до недавнего времени не изучалась так тщательно», — заключает соавтор исследования Анджелина Ван, аспирантка в области компьютерных наук.

Она объясняет, что изображения в основном «берутся из Интернета, и люди не всегда понимают, что их изображения используются [в наборах данных]. Мы должны собирать изображения от более разных групп людей и делаем это уважительно».