В прошлом году на тихие дороги округа Монмут, Нью-Джерси, вышел странный робомобиль. Экспериментальное средство передвижения, разработанное исследователями из Nvidia, внешне не отличалось от других робомобилей, но оно было совершенно не таким, какие разрабатывают в Google, Tesla или General Motors, и оно продемонстрировало растущую мощь ИИ. Автомобиль не следовал строгим инструкциям, запрограммированным человеком. Он полностью полагался на алгоритм, обучившийся водить машину, наблюдая за людьми.Создать таким образом робомобиль – достижение необычное. Но и немного тревожное, поскольку не до конца ясно, каким образом машина принимает решения.

Никто не понимает, как работают самые передовые алгоритмы. И это может стать проблемой

В прошлом году на тихие дороги округа Монмут, Нью-Джерси, вышел странный робомобиль. Экспериментальное средство передвижения, разработанное исследователями из Nvidia, внешне не отличалось от других робомобилей, но оно было совершенно не таким, какие разрабатывают в Google, Tesla или General Motors, и оно продемонстрировало растущую мощь ИИ. Автомобиль не следовал строгим инструкциям, запрограммированным человеком. Он полностью полагался на алгоритм, обучившийся водить машину, наблюдая за людьми.

Создать таким образом робомобиль – достижение необычное. Но и немного тревожное, поскольку не до конца ясно, каким образом машина принимает решения. Информация из датчиков идёт напрямую в большую сеть искусственных нейронов, обрабатывающую данные и выдающую команды, необходимые для управления рулём, тормозами и другими системами. Результат похож на действия живого водителя. Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет? В текущей ситуации будет очень сложно выяснить причину такого поведения. Система настолько сложна, что даже разработавшие её инженеры с трудом смогут найти причину любого конкретного действия. И ей нельзя задать вопрос – не существует простого способа разработать систему, способную объяснить свои действия.

Загадочный разум этого автомобиля указывает на проблему ИИ. Лежащая в основе машины технология ИИ, глубинное обучение (ГО), в последние годы доказала свою способность решать очень сложные задачи, и её применяют для таких задач, как создание подписей к изображениям, распознавание голоса, перевод текста. Есть надежда, что подобные технологии помогут в диагностировании смертельных заболеваний, принятии многомиллионных решений на финансовых рынках и в бесчисленном множестве других вещей, способных преображать индустрии.

Но этого не произойдёт – или не должно произойти – если мы не найдём способ сделать технологии типа ГО более понятными для своих создателей и ответственными для своих пользователей. Иначе будет очень сложно предсказать появление отказа – а отказы неминуемо будут происходить. Это одна из причин, по которой авто от Nvidia находится в экспериментальной фазе.

Уже сегодня математические модели используются как вспомогательное средство для определения того, кого можно условно-досрочно выпускать, кому одобрять кредит и кого нанимать на работу. Если бы вы могли получить доступ к таким моделям, можно было бы понять, как они принимают решения. Но банки, военные, работодатели и другие начинают обращать внимание на более сложные алгоритмы с машинным обучением, способные сделать автоматическое принятие решений необъяснимым. ГО, самый популярный из таких подходов, это принципиально другой способ программирования компьютеров. «Эта проблема уже имеет значение, а в будущем её значение только возрастёт», – говорит Томми Яккола [Tommi Jaakkola], профессор из MIT, работающий над применениями машинного обучения (МО). «Связано ли это решение с инвестициями, с медициной, или с военным делом – вы не захотите полагаться только на „чёрный ящик“.

Некоторые уже утверждают, что возможность допросить ИИ-систему на предмет того, как было принято то или иное решение – это фундаментальное законное право. С лета 2018 года Евросоюз может ввести требование, согласно которому компании должны суметь объяснить пользователям принятые автоматическими системами решения. А это может оказаться невозможным, даже в случае систем, с первого взгляда выглядящих просто – к примеру, для приложений или сайтов, использующих ГО для показа рекламы или рекомендации песен. Компьютеры, на которых эти сервисы работают, программировали сами себя, и этот процесс нам непонятен. Даже создавшие эти приложения инженеры не могут полностью объяснить их поведение.

Это поднимает сложные вопросы. С развитием технологий нам, возможно, придётся выйти за некий предел, за которым использование ИИ требует определённой веры в него. Конечно, и люди не всегда могут полностью объяснить ход своих мыслей – но мы находим способы интуитивно доверять и проверять людей. Будет ли это возможно с машинами, которые думают и принимают решения не так, как это делал бы человек? Мы никогда ещё не создавали машин, работающих непонятными для их создателей способами. Чего можно ожидать от общения и жизни с машинами, которые могут быть непредсказуемыми и необъяснимыми? Эти вопросы привели меня на передовой край исследований алгоритмов ИИ, от Google до Apple, и во множество мест между ними, включая встречу с одним из величайших философов нашего времени.

В 2015 году исследователи из медицинского комплекса Маунт-Синай в Нью-Йорке решили применить ГО к обширной базе данных с историями болезней. В них содержатся сотни переменных, полученных из анализов, визитов к врачам и пр. В итоге программа, названная исследователями Deep Patient, тренировалась на данных 700 000 человек, а потом, при её проверке на новых пациентах, показала удивительно хорошие результаты по предсказанию заболеваний. Без вмешательства экспертов Deep Patient обнаружила скрытые в данных закономерности, которые, судя по всему, говорили о том, что пациент встал на путь к различного рода заболеваниям, включая рак печени. Существует много методов, „достаточно хорошо“ предсказывавших заболевание на основе истории болезни, говорит Джоел Дадли, руководящий командой исследователей. Но, добавляет он, „этот просто оказался гораздо лучше“.

В то же время Deep Patient озадачивает. Она вроде бы хорошо распознаёт начальные этапы психических отклонений вроде шизофрении. Но поскольку врачам очень трудно предсказать шизофрению, Дадли заинтересовался, как это получается у машины. И он до сих пор не сумел это выяснить. Новый инструмент не даёт понимания того, как он этого достигает. Если система типа Deep Patient когда-нибудь будет помогать докторам, в идеале она должна дать им логическое обоснование своего предсказания, чтобы убедить их в его точности и оправдать, к примеру, смену курса принимаемых лекарств. „Мы можем строить эти модели, – печально констатирует Дадли, – но мы не знаем, как они работают“.

ИИ не всегда был таким. Вначале было два мнения по поводу того, насколько ИИ должен быть понятен или объясним. Многие считали, что имеет смысл создавать машины, рассуждающие согласно правилам и логике, делающие свою внутреннюю работу прозрачной для каждого, кто захочет их изучать. Другие считали, что интеллект в машинах сможет возникнуть быстрее, если вдохновиться биологией, и если машина будет учиться через наблюдение и опыт. А это означало, что нужно перевернуть всё программирование с ног на голову. Вместо того, чтобы программист записывал команды для решения задачи, программа создавала бы свои алгоритмы на основе примеров данных и необходимого результата. Технологии МО, сегодня превратившиеся в самые мощные ИИ-системы, пошли по второму пути: машина программирует сама себя.

Поначалу такой подход был мало применим на практике, и в 1960–70 годы он жил лишь на переднем крае исследований. А затем компьютеризация множества индустрий и появление больших наборов данных вернуло интерес к нему. В результате началась разработка более мощных технологий машинного обучения, в особенности новых версий искусственных нейросетей. К 1990-м нейросети уже могли автоматически распознавать рукописный текст.

Но лишь в начале текущего десятилетия, после нескольких хитроумных подстроек и правок, глубокие нейросети показали кардинальное улучшение работы. ГО отвечает за сегодняшний взрыв ИИ. Оно дало компьютерам необычайные возможности, такие, как распознавание речи на уровне человека, что слишком сложно было бы запрограммировать вручную. Глубокое обучение преобразовало компьютерное зрение и радикально улучшило машинный перевод. Теперь его используют для помощи в принятии ключевых решений в медицине, финансах, производстве – и много где ещё.

Схема работы любой МО-технологии по своей сути менее прозрачна, даже для специалистов по информатике, чем у запрограммированной вручную системы. Это не значит, что все ИИ в будущем будут одинаково непознаваемы. Но по сути ГО представляет собой особенно тёмный чёрный ящик.

Нельзя просто заглянуть в глубокую нейросеть и понять, как она работает. Рассуждения сети встроены в тысячи искусственных нейронов, организованных в десятки или даже сотни сложным образом соединённых слоёв. Нейроны первого слоя получают входные данные, такие, как яркость пикселя в картинке, и вычисляют новый выходной сигнал. Эти сигналы по сложной паутине передаются нейронам следующего слоя, и так далее, до полной обработки данных. Также существует процесс обратного распространения, подстраивающий вычисления отдельных нейронов так, чтобы сеть обучалась выдавать нужные данные.

Множество слоёв сети позволяют ей распознавать вещи на разных уровнях абстракции. К примеру, в системе, настроенной на распознавание собак, нижние уровни распознают простые вещи, такие, как контур или цвет. Высшие распознают уже мех или глаза. А самые верхние идентифицируют собаку в целом. Тот же подход можно применить к другим вариантам входных данных, позволяющих машине обучить саму себя: звуки, составляющие слова в речи, буквы и слова, составляющие предложения, или движения руля, необходимые для езды.

В попытках распознать и объяснить происходящее внутри систем были разработаны изобретательные стратегии. В 2015 году исследователи из Google изменили алгоритм распознавания изображений так, чтобы вместо того, чтобы находить объекты на фото, он бы создавал или изменял их. По сути, запустив алгоритм в обратном направлении, они решили узнать, какие особенности программа использует для распознавания, допустим, птиц или зданий. Итоговые изображения, созданные проектом Deep Dream, демонстрировали гротескных, инопланетных животных, появляющихся среди облаков и растений, и галлюциногенные пагоды, видимые в лесах и горах. Изображения доказали, что ГО не полностью непознаваемо. Они показали, что алгоритмы нацеливаются на знакомые визуальные признаки, типа клюва или перьев птицы. Но эти изображения рассказали и о том, как сильно отличается восприятие компьютера от человеческого, поскольку компьютер мог сделать артефакт из того, что человек бы проигнорировал. Исследователи отметили, что когда алгоритм создавал изображение гантели, вместе с ним он рисовал и человеческую кисть. Машина решила, что кисть – часть гантели.

Далее процесс двигался благодаря идеям, позаимствованным из нейробиологии и когнитивистики. Команда под руководством Джефа Клюна [Jeff Clune], помощника профессора из Вайомингского университета, проверяла глубокие нейросети при помощи эквивалента оптических иллюзий. В 2015 году группа Клюна показала, как определённые изображения могут обмануть сеть так, чтобы она распознала объекты, которых не было на изображении. Для этого использовались детали низкого уровня, которые ищет нейросеть. Один из членов группы создал инструмент, работа которого напоминает вживлённый в мозг электрод. Он работает с одним нейроном из центра сети, и ищет изображение, больше других активирующее этот нейрон. Картинки получаются абстрактными, демонстрирующие загадочную природу машинного восприятия.

Но нам недостаточно только намёков на принцип мышления ИИ, и простого решения тут нет. Взаимосвязь расчётов внутри сети критически важна для распознавания закономерностей высокого уровня и принятия сложных решений, но эти расчёты – трясина из математических функций и переменных. „Если бы у вас была очень маленькая нейросеть, вы могли бы в ней разобраться, – говорит Яккола, – но когда она разрастается до тысяч нейронов на слой и сотен слоёв, она становится непознаваемой“.

Рядом с Якколой в офисе находится рабочее место Регины Барзилай [Regina Barzilay], профессора MIT, намеренного применять МО к медицине. Пару лет назад, в возрасте 43 года, ей диагностировали рак груди. Диагноз шокировал сам по себе, но Барзилай беспокоилась ещё и из-за того, что передовые статистические методы и МО не используется для онкологических исследований или для разработки лечения. Она говорит, что у ИИ огромный потенциал для организации революции в медицине, но его понимание простирается за пределы простой обработки медицинских записей. Она представляет себе использование сырых данных, не используемых сегодня: „изображения, патология, вся эта информация“.

По окончанию процедур, связанных с раком, в прошлом году Барзилай со студентами начали работать с докторами Массачусетского госпиталя над разработкой системы, способной обрабатывать отчёты по патологиям и определять пациентов с определёнными клиническими характеристиками, которые исследователи хотели бы изучить. Однако Барзилай понимает, что система должна уметь объяснять принятые решения. Поэтому она добавила дополнительный шаг: система извлекает и подсвечивает участки текста, типичные для найденной ей закономерности. Барзилай со студентами также разрабатывают алгоритм глубокого обучения, способный находить ранние признаки рака груди в маммограммах, и эту систему они тоже хотят сделать способной объяснять свои действия. „Очень нужен процесс, в котором машина и люди могли бы работать вместе“, – говорит Барзилай.

Американские военные тратят миллиарды на проекты, использующие МО для пилотирования машин и самолётов, определения целей и помощи аналитикам в фильтрации огромных куч разведданных. Здесь тайны работы алгоритмов ещё менее уместны, чем в медицине, и минобороны определило объяснимость как ключевой фактор.

Дэвид Ганнинг [David Gunning], руководитель программы разработки в агентстве передовых оборонных исследований, следит за проектом „Explainable Artificial Intelligence“ (объяснимый ИИ). Седой ветеран агентства, до этого следивший за проектом DARPA, по сути приведшим к созданию Siri, Ганнинг говорит, что автоматизация пробирается в бесчисленное количество военных областей. Аналитики проверяют возможности МО по распознаванию закономерностей в огромных объёмах разведданных. Разрабатываются и проверяются автономные машины и летательные аппараты. Но солдаты вряд ли будут комфортно чувствовать себя в автоматическом танке, не объясняющем им свои действия, а аналитики будут неохотно использовать информацию без объяснений. „В природе этих МО-систем частенько выдавать ложную тревогу, поэтому аналитику необходима помощь, чтобы разобраться в том, почему была дана та или иная рекомендация“, – говорит Ганнинг.

В марте DARPA выбрала для финансирования 13 научных и коммерческих проектов по программе Ганнинга. Некоторые из них могут взять за основу работу Карлоса Гуэстрина [Carlos Guestrin], профессора Вашингтонского университета. Они с коллегами разработали способ, которым МО-системы могут объяснять свои выходные данные. По сути, компьютер находит несколько примеров данных из набора и предоставляет их в качестве объяснения. Система, разработанная для поиска электронных писем террористов, может использовать миллионы сообщений для тренировки. Но благодаря подходу вашингтонской команды она может подсветить определённые ключевые слова, обнаруженные в сообщении. Группа Гуэстрина также придумала, как системы распознавания изображений могли бы намекать на свою логику, подсвечивая наиболее важные части изображения.

Один недостаток такого подхода и ему подобных заключается в упрощённом характере объяснений, в связи с чем некая важная информация может оказаться утерянной. „Мы не дошли до мечты, в которой ИИ может вести с вами дискуссию и способен объяснить вам что-то, – говорит Гуэстрин. – Нам ещё очень далеко до создания полностью интерпретируемого ИИ“.

И речь не обязательно идёт о такой критичной ситуации, как диагностика рака или военные манёвры. Знать о ходе рассуждений ИИ будет важно, если эта технология станет общераспространённой и полезной частью нашей повседневной жизни. Том Грубер, руководящей командой разработки Siri в Apple, говорит, что объяснимость – ключевой параметр для их команды, пытающейся сделать Siri более умным и способным виртуальным помощником. Грубер не рассказывал о конкретных планах для Siri, но легко представить, что получая рекомендацию ресторана, вы хотели бы знать, почему она была сделана. Руслан Салахутдинов, директор исследований ИИ в Apple и адъюнкт-профессор в Университете Карнеги-Мэлон, видит объяснимость в роли ядра эволюционирующих отношений людей и умных машин. „Она привнесёт в отношения доверие“, – говорит он.

Так же, как невозможно подробно объяснить многие аспекты человеческого поведения, возможно ИИ не сможет объяснить всё, что он делает. „Даже если кто-то сможет дать вам логичное объяснение своих действий, оно всё равно будет не полным – то же верно и для ИИ“, – говорит Клюн из Вайомингского университета. „Эта особенность может быть частью природы интеллекта – то, что лишь его часть поддаётся рациональному объяснению. Что-то работает на инстинктах, в подсознании“.

Если так, то на каком-то этапе нам придётся просто верить решениям ИИ или обходиться без них. А эти решения должны будут затронуть и социальный интеллект. Так же, как общество построено на контрактах, связанных с ожидаемым поведением, так и системы ИИ должны уважать нас и вписываться в наши социальные нормы. Если мы создаём автоматические танки и роботов для убийства, важно, чтобы их процесс принятия решений совпадал с нашей этикой.

Для проверки этих метафизических концепций я отправился в Университет Тафтса на встречу с Дэниелом Дэннетом, знаменитым философом и когнитивистом, изучающим сознание и разум. В одной из глав его последней книги, „От бактерий до Баха и обратно“, энциклопедическом трактате на тему сознания, содержится предположение, что естественная часть эволюции интеллекта заключается в сознании систем, способных выполнять задачи, недоступные для их создателей. „Вопрос в том, как нам подготовиться к разумному использованию таких систем – какие стандарты требовать от них и от нас самих?“ – говорил он мне среди беспорядка в его офисе, находящемся на территории идиллического кампуса университета.

Он также захотел предупредить нас по поводу поисков объяснимости.

„Думаю, что если мы будем использовать эти системы и полагаться на них, то, конечно же, нужно очень строго отнестись к тому, как и почему они выдают нам свои ответы“, – говорит он. Но поскольку идеального ответа может и не оказаться, мы должны так же осторожно относиться к объяснениям ИИ, как и к нашим собственным – вне зависимости от того, насколько умной кажется машина. „Если она не сможет лучше нас объяснить, что она делает, – говорит он, – лучше ей не доверять“.