Системы ИИ и машинного обучения внедряются во все сферы жизни человека. Пока уровень самостоятельности таких технологических решений сводится к минимуму, но даже сейчас вопрос доверия к ИИ стоит на первом плане. ИИ может перенять отрицательные черты человечества, быть предвзятым и даже жестоким.

Александра Мойсилович, ученый, руководитель направления ИИ в IBM Research и содиректор IBM Science for Social Good, считает, что вся ответственность за дальнейшее развитие ИИ лежит на разработчиках. «Хайтек» перевел и адаптировал ее колонку для Qrius об основных методах создания безопасного для человека ИИ.

Правильный путь для ИИ

Сегодня системы искусственного интеллекта используют, чтобы помочь людям принимать решения во множестве отраслей. ИИ помогает врачам систематизировать тысячи историй болезни; фермерам служит для точного определения количества воды, которое требуется каждому отдельному растению; страховым компаниям — быстрее рассчитывать выплаты. ИИ способен обработать большое количество данных, чтобы предоставить пользователям средоточие бесценных идей и знаний.

Однако широкое внедрение систем ИИ не состоит исключительно из преимуществ. Многие из развивающихся инструментов ИИ имеют дело с крайне важными данными людей, сообществ или организаций. Отсюда необходимость доверять их работе. Что нужно, чтобы заслужить это доверие?

Чтобы убедиться, что мы разрабатываем и развертываем системы ИИ со всей ответственностью, необходимо организовать сотрудничество со многими заинтересованными сторонами, в том числе политиками и законодателями. Но в первую очередь инструменты ИИ должны изучить деятели науки. Мы, как поставщики технологий, должны отвечать за разработку и применение технологических инструментов для создания надежных систем ИИ. Александра Мойсилович считает, что исследователям целесообразно брать на себя ответственность. Это позволит направить ИИ по правильному пути.

Построение доверия

Чтобы доверять системе ИИ, мы должны быть уверены в ее решениях. И знать, что принятое решение будет одновременно и надежным, и справедливым, что его можно принимать во внимание и что оно в любом случае не навредит. Нам нужна уверенность в том, что его нельзя сфальсифицировать извне, что сама система защищена.

Ответственность, справедливость, понятность, устойчивость и безопасность являются основой надежного ИИ. Однако сегодня при разработке новых систем ИИ и технологий в основном их оценивают, основываясь на точности испытаний и экспериментов, перекрестных проверок и соотношении затрат и выгод.

Мы контролируем использование и производительность в режиме реального времени, но не разрабатываем, не оцениваем и не контролируем доверие. Для этого нужно начать с определения базового доверия системам ИИ, а затем разработать инструменты и методы для их интеграции в процесс разработки.

Речь идет о том, что разработчикам нужно выйти за пределы точности, а также научиться измерять и сообщать о производительности системы по каждому из этих измерений. Мойсилович выделяет четыре основные части инженерного «инструментария», которыми мы располагаем в отношении доверия к ИИ.

1. Справедливость. Информация о предвзятости систем ИИ привлекла внимание как технического сообщества, так и широкой общественности. Если мы хотим поощрять внедрение ИИ, нужно обеспечить максимально толерантное отношение машин, не допустить распространение пороков людей в их управление в процессе обучения.

Существует достаточное количество доказательств расовых предубеждений в ПО распознавания лиц, построенных на принципах машинного обучения. Некоторые системы «неверно идентифицируют женщин с более темной кожей в 35% случаев и темнокожих мужчин в 12%». Это намного чаще, чем такое случается с белокожими.

В 2016 году из расследования издания ProPublica стало известно, что алгоритмы по определению рисков, которые используются на всех ступенях судебной системы США, от определения залога до срока заключения, оказались предвзяты по отношению к афроамериканцам. Программа Compas почти вдвое чаще маркировала их как возможных повторных нарушителей закона.

Другой пример предвзятости ИИ — чат-боты, которые учатся на основе переписки с пользователями. Бот Tay от Microsoft стал расистом всего через день после своего запуска — после серии оскорбительных твитов его пришлось отключить.

Исследовательское сообщество добилось прогресса в понимании того, как предвзятость влияет на принятие решений ИИ. Сейчас ученые и разработчики заняты созданием механизмов для повышения равного отношения ко всем людям на протяжении всего цикла работы ИИ:

• учебные модели;
• проверка данных, алгоритмов и утилит для обнаружения некорректных воззрений;
• регулирование неравенства, если оно обнаружено.

Хотя еще многое предстоит сделать, имеет смысл уже сейчас приступить к внедрению принципов проверки предвзятого отношения машины и смягчения последствий при проектировании, тестировании, оценке и учете решений ИИ.

2. Надежность. Когда дело доходит до больших наборов данных, нейронные сети являются инструментом выбора для разработчиков ИИ и дата-сайентистов. Несмотря на то, что модели глубинного обучения могут демонстрировать сверхчеловеческую классификацию и способности к распознаванию определенных характеристик, их можно легко обмануть, заставляя принимать неправильные решения, внося небольшие корректировки, часто незаметные для человека.

Выявление и устранение уязвимостей в программных системах — это то, с чем некоторое время назад уже сталкивалось техническое сообщество. Поэтому сейчас предыдущие алгоритмы просто переносятся в плоскость работы ИИ. Недавно произошел настоящий взрыв исследований в этой области: постоянно идентифицируются все новые возможные угрозы для системы. В настоящее время разрабатываются новые методы борьбы со слабыми местами и показатели для оценки устойчивости систем ИИ. Мы приближаемся к тому моменту, когда сможем интегрировать их в общие процессы ИИ — DevOps — для защиты и обеспечения реалистичных нейронных сетей и систем, в основе которых лежат эти сети, для работы на производствах.

3. Толкование алгоритмических решений. Еще одна проблема, которая достигла пика обсуждений в последнее время, — это страх, что системы машинного обучения по сути своей — «черный ящик», а то, как многие современные алгоритмы принимают решения, едва ли поддается логическому обоснованию.

В 2017 году Facebook вынужден был отключить свою систему ИИ. Причиной тому стало общение машин на собственном, несуществующем языке. Люди не понимали, о чем коммуницируют между собой устройства. Хотя система использовала чат-боты, которые изначально были созданы для общения с живыми людьми. Но постепенно они перешли к общению друг с другом. Позже в Facebook опровергли эту информацию, назвав «несуществующий» язык ошибкой.

Недавние исследования предлагают методы, позволяющие интерпретировать решения «скрытной машины», не ставя под угрозу их точность. К ним относятся местные и глобальные методы толкования выбора систем и их прогнозов, использование методов обучения, которые дают расшифрованные для человека результаты, визуализацию потока информации в нейронных сетях и даже объяснение обучения.

Мы должны включить эти методы в разработку моделей ИИ и рабочих процессов DevOps, чтобы предоставить разнообразные объяснения разработчикам, корпоративным инженерам, пользователям и экспертам в этой и других отраслях.

4. Безопасность. Человеческое доверие к новым технологиям, в первую очередь, основано на понимании того, как это работает, и оценке их безопасности и надежности. Мы управляем автомобилями с полной уверенностью, что тормоза сработают при нажатии педали. Мы делаем офтальмологическую операцию с использованием лазера, всецело доверяя системе, которая исключает человеческий фактор.

В обоих случаях доверие исходит из уверенности в том, что система не допустит ошибку благодаря обучению, исчерпывающим испытаниям, опыту, мерам безопасности и стандартам, передовым методам и изучению потребностей пользователей. Многие из этих принципов обеспечения безопасности применяются к проектированию систем ИИ. Нужно не только адаптировать к ИИ уже существующие стандарты, но и разработать новые.

Например, мы могли бы спроектировать ИИ так, чтобы в его работу мог вмешаться человек в случае столкновения системы с качественно иной работой в сложных условиях. И по аналогии с маркировкой фармацевтических препаратов и продуктов питания или таблицами безопасности в компьютерном оборудовании мы можем перенести такую методику работы в предоставлении ИИ определенного круга возможностей или ограничений полномочий и иных решений правомочности ИИ.

Компромиссы в развитии ИИ

Каждый раз, когда внедряется новая технология, она создает новые проблемы, проблемы реальных и потенциальных угроз безопасности. По мере развития и роста осознанного подхода к технологиям эти сложности становятся все более разрешимыми, постепенно специалисты находят ключи к их разгадке.

Например, когда появились первые лекарства, не было никаких проверок их безопасности, стандартов качества, защищенных от детей колпачков или защиты целостности упаковки. ИИ — новая отрасль, и ей предстоит пройти аналогичный путь совершенствования.

Последние годы оказались чрезвычайно успешными с точки зрения развития технических возможностей. В ходе гонки за идеальными алгоритмами системы ИИ становятся все более мощными. Однако усилия не могут и не должны быть направлены исключительно на создание красивой картинки искусственного интеллекта. Нужно инвестировать в возможности, которые сделают ИИ не просто умным, но и ответственным за свои решения.

Я считаю, что по мере совершенствования систем инженеры и дизайнеры технологий ИИ должны работать с пользователями, заинтересованными сторонами и экспертами из разных дисциплин, чтобы понимать их потребности, постоянно оценивать влияние и последствия алгоритмического принятия решений, делиться результатами, оценками работы и идеями, продуктивно решать проблемы открытым и гибким способом. Вместе мы сможем создать такие алгоритмы ИИ, которым люди будут доверять.

Автор: Дарья Гернер