Специалисты по психологии и информационным технологиям из Кардиффского университета и Массачусетского технологического института показали, что группы автономных машин могут проявлять предубеждения посредством простого определения такого поведения, его копирования и взаимного обучения ему.

Может показаться, что предубеждение — исключительно человеческий феномен, требующий человеческого интеллекта для формирования мнения или стереотипов о какой-либо личности или группе. Несмотря на то что некоторые типы компьютерных алгоритмов уже проявляли такие предубеждения, как расизм и сексизм, основанные на изучении публичных записей и других данных, сгенерированных людьми, новая работа демонстрирует способности ИИ к самостоятельному развитию групп с предубеждениями.

Исследование опубликовано в журнале Scientific Reports. Оно основано на компьютерных симуляциях того, как предвзятые виртуальные агенты могут формировать группы и взаимодействовать друг с другом. В процессе симуляции каждый индивид принимает решение, помочь ли кому-то из своей группы или из другой, в зависимости от репутации того индивида, а также собственной стратегии, включающей в себя их уровни предубеждений по отношению к посторонним. После проведения тысяч симуляций каждый индивид обучается новым стратегиям, копируя других — будь то представители своей группы или всего «населения».

Относительная кумулятивная частота характеристик агентов по уровню предубеждений / © Roger M. Whitaker

«С проведением этих симуляций тысячи и тысячи раз подряд  мы начали понимать, как развивается предубеждение и какие нужны условия для его культивации или предотвращения, — говорит соавтор исследования профессор Роджер Уитакер из Института исследований преступности и безопасности и Школы компьютерных наук и информатики Кардиффского университета. — Наши симуляции показывают, что предубеждение — это мощная сила природы, и посредством эволюции ее можно простимулировать в виртуальных населениях, чтобы навредить более широкой связи с другими. Защита от предвзятых групп может ненароком привести к формированию других предвзятых групп, провоцируя большее разделение населения. Такое широкое распространение предубеждений трудно повернуть вспять».

Данные исследования также включают в себя индивидов, повышающих уровни своего предубеждения предпочтительным копированием тех, кто получает лучшие краткосрочные результаты, что, в свою очередь, означает, что такие решения не требуют обязательного наличия особых способностей.

«Вполне правдоподобно, что автономные машины, способные идентифицировать себя с дискриминацией и копировать других, в будущем могут быть восприимчивыми к феноменам предубеждения, которые мы видим в обществе, — продолжает профессор Уитакер. — Многие ИИ-разработки, которые мы наблюдаем сегодня, включают в себя автономность и самоуправление, то есть на поведение приборов также влияют те, кто их окружает. Из недавних примеров можно вспомнить транспорт и интернет вещей. Наше исследование предоставляет теоретическое понимание того, где симулированные агенты периодически обращаются к другим для получения каких-то ресурсов».

Также исследователи обнаружили, что при определенных условиях, включающих в себя наличие более разделенных субпопуляций одного общества, предубеждению сложнее укрепиться.

«С большим числом субпопуляций союзы непредвзятых групп могут сотрудничать без того, чтобы быть эксплуатируемыми. Это также убавляет их статус меньшинства, в то же время уменьшая их восприимчивость к установлению предубеждений. Однако это требует и обстоятельств, в которых агенты обладают более высоким расположением по отношению к взаимодействиям вне своей группы», — заключил профессор Уитакер.