Машинное обучение ищет закономерности в данных. Но искусственный интеллект может быть «предвзят» — то есть, находить неверные паттерны.

К примеру, система обнаружения рака кожи по фотографии может обращать особое внимание на снимки, сделанные во врачебном кабинете. Машинное обучение не умеет понимать: его алгоритмы лишь выявляют закономерности в числах, и если данные не репрезентативны, таким будет и результат их обработки. А отлавливать такие баги может быть непросто из-за самой механики машинного обучения.

Самая очевидная и пугающая проблемная область — это человеческое разнообразие. Есть множество причин, почему данные о людях могут терять объективность еще на этапе сбора. Но не стоит думать, что эта проблема касается только людей: точно такие же сложности возникают при попытке обнаружить потоп на складе или вышедшую из строя газовую турбину. Одни системы могут иметь предубеждения насчет цвета кожи, другие будут предвзято относиться к датчикам Siemens.

Такие проблемы не новы для машинного обучения, да и свойственны далеко не только ему. Неверные предположения делаются в любых сложных структурах, а понять, почему было принято то или иное решение, всегда непросто.

Бороться с этим нужно комплексно: создавать инструменты и процессы для проверки — и образовывать пользователей, чтобы они не слепо следовали рекомендациям ИИ. Машинное обучение действительно делает некоторые вещи намного лучше нас, — но собаки, например, намного эффективнее людей в обнаружении наркотиков, что вовсе не повод привлекать их в качестве свидетелей и выносить приговоры на основании их показаний. А собаки, к слову, намного умнее любой системы машинного обучения.

Машинное обучение сегодня — один из самых важных фундаментальных технологических трендов. Это один из основных способов, которыми технология будет менять окружающий мир в следующее десятилетие. Некоторые аспекты этих изменений вызывают беспокойство. Например, потенциальное влияние машинного обучения на рынок труда, или его использование для неэтичных целей (допустим, авторитарными режимами). Есть еще одна проблема, которой и посвящен этот пост: предвзятость искусственного интеллекта.

Это непростая история.