Блог компании FirstVDS. Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.

Группа ученых из США, Тайваня и Канады опубликовала свою работу в журнале The Lancet Digital Health.

Они обучили свой ИИ, используя сотни тысяч рентгеновских снимков, содержащих информацию о расе пациента. Потом скормили ему несколько тысяч снимков без указания расы. И попросили машину угадать, где какой человек. Нейросеть до этого никогда не видела конкретно этих изображений, и не имела о них никакой дополнительной информации. Но она угадывала расу человека (белый, темнокожий, азиат) с удивительной 98%-й успешностью. Даже когда сканы брали у людей одного и того же возраста, пола и комплекции.

Вероятность определения расы человека по его рентгену. Белые не в фаворе

Эта же команда проводила похожий эксперимент (pdf) около года назад. Тогда для обучения алгоритмов авторы использовали больше разных наборов данных. В том числе компьютерную томографию грудной клетки, рентген кистей рук, маммографию и рентген шейного отдела позвоночника. По этим данным их ИИ смог угадывать расу пациента в 80—92% случаев. Еще год ушел на то, чтобы попытаться понять, как именно нейросети видят разницу, и неужели расисты всех стран были правы. В попытке объяснить поведение своих моделей команда рассмотрела множество вариантов:

• наличие пока нам неизвестных различий в физических характеристиках между различными расовыми группами (габитус тела, плотность груди);
• алгоритм может ориентироваться по специфике выявляемых заболеваний — например, у темнокожих пациентов чаще встречается диабет и заболевания сердца;
• специфические характеристики тканей — например, темнокожие имеют более высокую минеральную плотность костной ткани;
• способность систем глубокого обучения комбинировать несколько демографических факторов и информации о пациенте.

Но все эти варианты не годились. Потому что, учитывая новый опыт, получалось, что машина лучше предсказывает расу человека по одной рентгенографии грудной клетки, чем по совокупности всех других меток и факторов.

Кто из них белый, а кто темнокожий? Сможете определить?

Например, ученые протестировали, смотрит ли их ИИ на плотность костной ткани. Всё-таки модели тренировались на изображениях, где более толстая часть кости казалась белой, а тонкая — полупрозрачной. И, возможно (?), из-за особенностей питания или условий проживания, у темнокожих людей кости в среднем содержат больше минералов, и являются более толстыми. А какие-то минимальные отличия в цвете костей на снимках находит нейросеть и делает свои выводы.

Чтобы проверить это, ученые обработали изображения фильтром так, чтобы ИИ не смог различать цвета. Оказалось, что это не смутило модель — она по-прежнему очень точно предсказывала расу — с вероятностью 94–96%. То есть, ухудшение едва ли превышало величину статистической погрешности. А может, фильтр просто ухудшал какие-то другие аспекты изображения, которые подавали сигнал модели.

От изначальной картинки иногда оставалось очень мало

Даже когда изображения пропускали через несколько фильтров, и в итоге они вообще становились мало похожими на медицинские снимки, нейросети всё равно сохраняли очень высокую точность, выше 60%.

Исследователи в своей статье говорят: Мы показываем, что стандартные модели глубокого обучения ИИ могут определять расу по медицинским снимкам с высокой точностью в нескольких модальностях визуализации. Это подтверждается внешними проверками.

Это поднимает тревожные вопросы о роли ИИ в медицинской диагностике и лечении: могут ли модели непреднамеренно проявлять расовую предвзятость при изучении подобных изображений?

Ученые до сих пор не уверены, почему их нейросеть так хорошо определяет расу по изображениям, которые с виду не содержат никакой такой информации. Текущая главная версия — возможно, модель находит какие-то признаки наличия меланина, пигмента, придающего коже ее цвет. Кожи, конечно, на рентгеновских снимках вообще нет, но может, это нам так кажется? Может, просто наш человеческий глаз её не замечает. А для ИИ какие-то остаточные свечения размером в пару пикселей ясны, как день.

Это объяснило бы, почему никакая обработка изображения фильтрами почти не влияет на точность предсказаний модели. Но тут забавно то, что ИИ с одинаковой успешностью отличает и африканцев, и азиатов. Причем азиатов иногда (при умышленном ухудшении изображения) даже немного лучше. Если дело здесь только в меланине, то такой результат довольно сложно объяснить.

Расистский ИИ?

Ученые в своей работе пишут: Наш вывод о том, что ИИ может точно предсказывать расу, даже по зашумленным и искаженным изображениям, на самом деле создает огромный риск для всех развертываний таких моделей в медицинской визуализации.

Новая работа, по их словам, еще раз доказывает, что системы ИИ часто могут отражать предубеждения людей, будь то расизм, сексизм или что-то еще. Искаженные обучающие данные (которые с виду, для человеческого глаза, кажутся нормальными) приводят к искаженным результатам, что сделает их куда менее полезными, а потенциально даже опасными, как минимум для компаний. Та же Amazon до сих пор никак не может оправдаться от скандала, когда оказалось, что их секретный ИИ, помогающий с наймом, специально старался не нанимать женщин, по какой-то своей модели посчитав их менее полезными сотрудниками.

В итоге эту проблему очень сложно решить: нам нужен ИИ, чтобы обрабатывать всё растущие объемы данных. Но мы часто, из-за своей ограниченности, не можем проследить, чтобы выводы системы были справедливыми и не следовали каким-то бездушным машинным критериям, тихо дискриминируя людей по полу, цвету кожи или, скажем, фамилиям.

Ученый и врач Энтони Чели из Массачусетского технологического института пишет: Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов в больницы и вообще в крупные структуры, пока не будем уверены, что они не принимают расистских или сексистских решений. Остается много вопросов, на которых у нас нет ответа. Сейчас важно, как минимум, осознавать возможность проявления различной предвзятости в таких моделях. Особенно если мы собираемся передать им больше ответственности в будущем.

Несложно вообразить, какие последствия могут быть даже у немного расистского ИИ. Скажем, будет Tesla Маска ехать по дороге, и перед ней станет выбор: врезаться в белого пешехода, или в пару темнокожих. Или какой-то робот нахватается информации о Второй мировой, и почувствует, что с евреями вообще-то ассоциируется много всего плохого, так что надо навсегда закрыть их вопрос.

Такие истории уже существуют. Например, используемые в судах системы ошибочно решили, что темнокожие подсудимые в два раза чаще совершают повторные преступления. И поэтому назначали им больший залог, и предлагали давать более суровые сроки. А когда другую нейросеть использовали для подсчета затрат в сфере здравоохранения, она сделала вывод, что люди с темной кожей всегда здоровее, чем белые пациенты, даже если у них одни и те же болезни. Потому что на них в среднем тратилось меньше денег.

В 2016-м один ИИ, прошерстив интернет, вообще понял, что «белые» имена — это хорошо и приятно, а наличие людей с «черными» именами — это плохо… Если дать такому роботу что-то решать, то так можно и во времена рабовладения вернуться, или чего похуже.

Так что пока мы не выясним хотя бы, как машина умудряется видеть расу в рентгеновских снимках, робота-президента нам можно не ждать.