В августе 2010 года в конференц-зале в пригороде Сан-Франциско на сцену вышел 34-летний лондонец по имени Демис Хассабис. Он вышел неторопливой походкой человека, который пытается контролировать нервы, сжал губы в краткой улыбке и начал: «Итак, сегодня мы поговорим о разных подходах к разработке…» — тут запнулся, словно вдруг осознав, что озвучивает потаённые честолюбивые помыслы. Но потом всё-таки сказал: «… сильного ИИ».

Сильный ИИ (artificial general intelligence или AGI) означает универсальный искусственный интеллект — гипотетическую компьютерную программу, способную выполнять интеллектуальные задачи как человек или даже лучше. Сильный ИИ сможет выполнять отдельные задачи, такие как распознавание фотографий или перевод текста, которые являются единственными задачами каждого из слабых ИИ в наших телефонах и компьютерах. Но он также будет играть в шахматы и говорить по-французски. Будет понимать статьи по физике, сочинять романы, разрабатывать инвестиционные стратегии и вести восхитительные беседы с незнакомыми людьми. Он будет следить за ядерными реакциями, управлять электросетями и транспортными потоками и без особых усилий преуспеет во всём остальном. AGI сделает сегодняшний самый продвинутый ИИ похожим на карманный калькулятор.

Единственный интеллект, который в настоящее время способен выполнять все эти задачи — тот, которым наделены люди. Но человеческий интеллект ограничен размером черепа. Сила нашего мозга ограничена ничтожным количеством энергии, которое способно обеспечить тело. Поскольку AGI работает на компьютерах, он не будет страдать ни от одного из этих ограничений. Сильный интеллект ограничен только количеством доступных процессоров. Он может начать с мониторинга ядерных реакций. Но достаточно быстро откроет новые источники энергии, переваривая за секунду больше научных работ по физике, чем способен человек за тысячу жизней. Человеческий интеллект в сочетании со скоростью и масштабируемостью компьютеров заставит исчезнуть проблемы, которые в настоящее время кажутся неразрешимыми. В интервью британскому Observer Хассабис сказал, что, среди прочего, сильный ИИ должен овладеть такими дисциплинами и решить такие проблемы, как «рак, изменение климата, энергетика, геномика, макроэкономика [и] финансовые системы».

Конференция, на которой выступал Хассабис, называлась Singularity Summit. По мнению футурологов, сингулярность относится к наиболее вероятному следствию появления AGI. Поскольку он обрабатывает информацию на высокой скорости, то очень быстро поумнеет. Быстрые циклы самосовершенствования приведут к взрыву машинного интеллекта, оставив людей далеко позади задыхаться от кремниевой пыли. Поскольку это будущее целиком построено на фундаменте непроверенных предположений, вопрос о том, считать ли сингулярность утопией или адом, почти религиозен.

Судя по названиям лекций на конференции, участники тяготеют к мессианству: «Разум и как его построить»; «ИИ как решение проблемы старения»; «Замена наших тел»; «Изменение границы между жизнью и смертью». Лекция Хассабиса, напротив, выглядит не слишком впечатляющей: «Системный нейробиологический подход к построению AGI».

Хассабис расхаживает между трибуной и экраном, что-то быстро говоря. На нём тёмно-бордовый джемпер и белая рубашка на пуговицах, как у школьника. Небольшой рост, кажется, только усиливает его интеллект. До сих пор, объяснил Хассабис, учёные подходили к AGI с двух сторон. В области символического ИИ исследователи пытались описать и запрограммировать все правила для системы, которая могла бы мыслить как человек. Этот подход был популярен в 80–90-е годы, но не дал желаемых результатов. Хассабис считает, что ментальная структура мозга слишком утончённая, чтобы описать её подобным образом.

В другой области работали исследователи, которые пытались воспроизвести физические сети мозга в цифровой форме. В этом был определённый смысл. В конце концов, мозг — это вместилище человеческого интеллекта. Но эти исследователи были введены в заблуждение, сказал Хассабис. Их задача оказалась примерно такого же масштаба, как попытка нанести на карту все звёзды во Вселенной. Более того, она фокусируется на неправильном уровне. Это похоже на попытку понять, как работает Microsoft Excel, разбирая компьютер и изучая взаимодействия транзисторов.

Вместо этого Хассабис предложил золотую середину: сильный ИИ должен черпать вдохновение из широких методов, с помощью которых мозг обрабатывает информацию, а не из физических систем или конкретных правил, которые он применяет в конкретных ситуациях. Другими словами, учёным следует сосредоточиться на понимании программного обеспечения мозга, а не его «железа». Новые методы, такие как функциональная магнитно-резонансная томография, позволяют заглянуть внутрь мозга во время его деятельности. Они делают возможным такое понимание. Последние исследования показали, что мозг учится во сне, заново воспроизводя полученные переживания, чтобы вывести общие принципы. Исследователи ИИ должны подражать этой системе.

В правом нижнем углу слайда появился логотип — круглый голубой водоворот. Под ним два слова: DeepMind. Это было первое публичное упоминание новой компании.

Хассабис потратил целый год, пытаясь получить приглашение на Singularity Summit. Лекция была всего лишь прикрытием. Что ему действительно было нужно, так это одна минута с Питером Тилем, миллиардером из Силиконовой долины, который финансировал конференцию. Хассабис хотел получить его инвестиции.

Хассабис никогда не говорил, почему стремился получить поддержку именно от Тиля (для этой статьи он через пресс-секретаря отказался от нескольких запросов на интервью). Мы поговорили с 25 источниками, включая нынешних и бывших сотрудников и инвесторов. Большинство из них высказывались анонимно, поскольку не имели права говорить о компании. Но Тиль верит в AGI с ещё большим пылом, чем Хассабис. В своём выступлении в 2009 году Тиль сказал, что его самый большой страх за будущее — не восстание роботов (хотя в изолированной от всего мира Новой Зеландии он лучше защищён, чем большинство людей). Скорее он боится, что сингулярность придёт слишком поздно. Миру нужны новые технологии, чтобы предотвратить экономический спад.

В конечном итоге DeepMind получил £2 млн венчурного финансирования; в том числе £1,4 млн от Тиля. Когда компанию в январе 2014 года купила Google за $600 млн, ранние инвесторы зафиксировали прибыль в размере 5000%.

Для многих основателей это был бы счастливый конец. Можно притормозить, сделать шаг назад и наслаждаться деньгами. Для Хассабиса сделка с Google стала ещё одним шагом в его стремлении к сильному ИИ. Почти весь 2013 год он провёл в переговорах по сделке. DeepMind будет действовать отдельно от родительской компании. Хассабис получит все корпоративные привилегии, такие как доступ к денежному потоку и вычислительной мощности, не теряя контроль над компанией.

Хассабис думал, что DeepMind станет гибридом: у него будет драйв стартапа, мозги величайших университетов и глубокие карманы одной из самых богатых компаний в мире. Всё было сделано для того, чтобы ускорить разработку сильного ИИ и помочь человечеству.

________________________________________

Демис Хассабис родился в Северном Лондоне в 1976 году в семье грека-киприота и китаянки-сингапурки. Он был старшим из трёх братьев и сестёр. Мама работала в универмаге John Lewis, а отец — в магазине игрушек. Мальчик обучился игре в шахматы в четыре года, наблюдая за игрой отца и дяди. Через несколько недель взрослые уже не могли у него выиграть. К 13 годам Демис стал вторым шахматистом мира в своём возрасте. В восемь лет он самостоятельно научился программировать.

В 1992 году Хассабис окончил школу на два года раньше срока. Он устроился программировать видеоигры в Bullfrog Productions, где написал игру Theme Park. В ней игроки строили и управляли виртуальным парком развлечений. Игра оказалась очень успешной с 15 млн проданных копий. Она принадлежала новому жанру симуляторов, в которых цель состоит не в том, чтобы победить противника, а в том, чтобы оптимизировать функционирование такой сложной системы, как бизнес или город.

Theme Park для Android, 2018

Демис не только разрабатывал игры, но и великолепно в них играл. В подростковом возрасте он разрывался между соревнованиями по шахматам, скрэбблу, покеру и нардами. В 1995 году, изучая информатику в Кембриджском университете, Хассабис попал на студенческий турнир по го. Это древняя настольная стратегическая игра, которая значительно сложнее, чем шахматы. Предполагается, что мастерство требует интуиции, приобретённой долгим опытом. Никто не знал, играл ли Хассабис раньше.

Во-первых, Хассабис выиграл турнир для начинающих. Затем обыграл победителя турнира для опытных игроков, хотя и с форой. Организатор турнира, кембриджский мастер го Чарльз Мэтьюз помнит шок опытного игрока после проигрыша 19-летнему новичку. Мэтьюз взял Хассабиса под свою опеку.

Интеллект и амбиции Хассабиса всегда проявлялись в играх. Игры, в свою очередь, пробудили в нем интерес к интеллекту. Наблюдая за своим прогрессом в шахматах, он задавался вопросом: можно ли запрограммировать компьютеры так, чтобы они учились как он, на основе накопленного опыта. Игры предлагали обучающую среду, с которой не мог сравниться реальный мир. Они были чёткими и самодостаточными. Поскольку игры отделены от реальности, их можно практиковать без вмешательства в реальный мир и эффективно осваивать. Игры ускоряют время: за пару дней можно создать преступный синдикат, а битва на Сомме завершается за считанные минуты.

Летом 1997 года Хассабис отправился в Японию. В мае того же года компьютер Deep Blue от IBM победил чемпиона мира по шахматам Гарри Каспарова. Впервые компьютер выиграл у шахматного гроссмейстера. Матч привлёк внимание всего мира и вызвал озабоченность по поводу растущей мощности и потенциальной угрозы компьютеров. Когда Хассабис познакомился с японским мастером настольных игр Масахико Фудзувареа, то рассказал ему о плане, который объединяет его интересы в стратегических играх и искусственном интеллекте: однажды он построит компьютерную программу, которая победит величайшего игрока в го.

Хассабис действовал методично: «В возрасте 20 лет Хассабис придерживался мнения, что определённые вещи должны быть на месте, прежде чем он займётся ИИ на том уровне, на котором хотел, — говорит Мэтьюз. — У него был план».

В 1998 году он основал собственную игровую студию Elixir. Хассабис сосредоточился на одной чрезвычайно амбициозной игре — Republic: The Revolution, сложном политическом симуляторе. Много лет назад ещё в школе Хассабис сказал своему другу Мустафе Сулейману, что миру нужен грандиозный симулятор, чтобы смоделировать его сложную динамику и решить самые сложные социальные проблемы. Теперь он попытался сделать это в игре.

Вписаться в игровые рамки оказалось труднее, чем он ожидал. В конце концов Elixir выпустила сокращённую версию игры, чтобы смягчить отзывы. Другие игры провалились (в том числе симулятор злодея из бондианы под названием Evil Genius). В апреле 2005 года Хассабис закрыл Elixir. Мэтьюз считает, что Хассабис основал компанию просто для того, чтобы получить управленческий опыт. Теперь Демису для начала работы над сильным ИИ не хватало только одной важной области знаний. Ему нужно было понять человеческий мозг.

В 2005 году Хассабис получил степень доктора нейробиологии в Лондонском университетском колледже (UCL). Он опубликовал знаменитые исследования памяти и воображения. Одна из его статей, которая с тех пор цитировалась более 1000 раз, показала, что люди с амнезией также испытывают трудности с осмысливанием новых переживаний, предполагая, что существует связь между запоминанием и созданием ментальных образов. Хассабис создавал представление мозга, подходящее для задачи создания AGI. Бóльшая часть работы сводилась к одному вопросу: как человеческий мозг получает и сохраняет концепции и знания?

Хассабис официально основал DeepMind 15 ноября 2010 года. Миссия компании с тех пор неизменна: «решить интеллект», а затем использовать его для решения всего остального. Как сказал Хассабис участникам Singularity Summit, это означает перевод нашего понимания принципов, как работает мозг, в программное обеспечение, которое сможет использовать те же методы самообучения.

Хассабис понимает, что наука ещё не полностью постигла суть человеческого разума. Проект сильного ИИ нельзя просто создать на базе сотен нейробиологических исследований. Но он явно считает, что известно уже достаточно, чтобы начать работу над сильным ИИ. И всё же есть вероятность, что его уверенность опережает реальность. Мы всё ещё очень мало знаем, как на самом деле функционирует мозг. В 2018 году результаты собственной кандидатской диссертации Хассабиса были поставлены под сомнение командой австралийских исследователей. Это всего лишь одна статья, но она показывает, что научные мнения, лежащие в основе DeepMind, далеки от консенсуса.

Соучредителями компании стали Мустафа Сулейман и Шейн Легг, одержимый AGI новозеландец, с которым Хассабис также познакомился в UCL. Репутация фирмы росла, а Хассабис пожинал плоды своего таланта. «Он словно магнит», — говорит Бен Фолкнер, бывший операционный менеджер DeepMind. Многие сотрудники жили в Европе, далеко от HR-отделов гигантов Кремниевой долины, таких как Google и Facebook. Возможно, главным достижением DeepMind стал найм сотрудников сразу после основания, чтобы найти и сохранить самых ярких и лучших талантов в области ИИ. Компания открыла офис в мансарде таунхауса на Рассел-сквер в Блумсбери, через дорогу от UCL.

Один из методов машинного обучения, на котором сосредоточилась компания, вырос из двойного увлечения Хассабиса играми и нейробиологией: это обучение с подкреплением. Такая программа предназначена для сбора информации об окружающей среде, а затем обучения на ней, многократно воспроизводя полученный опыт, подобно активности человеческого мозга во сне, как рассказывал Хассабис в своей лекции на Singularity Summit.

Обучение с подкреплением начинается с чистого листа. Программе показывают виртуальную среду, о которой она не знает ничего, кроме правил. Например, симуляция игры в шахматы или видеоигры. Программа содержит по крайней мере один компонент, известный как нейронная сеть. Она состоит из слоёв вычислительных структур, которые просеивают информацию, чтобы идентифицировать конкретные функции или стратегии. Каждый слой исследует окружающую среду на новом уровне абстракции. Сначала эти сети действуют с минимальным успехом, но важно, что каждая неудача оставляет след и кодируется внутри сети. Постепенно нейросеть становится всё более изощрённой, поскольку экспериментирует с разными стратегиями — и получает награду в случае успеха. Если программа перемещает шахматную фигуру и в результате проигрывает игру, то больше не повторит эту ошибку. Бóльшая часть магии искусственного интеллекта заключается в скорости, с которой он повторяет свои задачи.

Кульминацией работы DeepMind стал 2016 год, когда компания выпустила программу AlphaGo, которая использовала обучение с подкреплением наряду с другими методами, для игры в го. Ко всеобщему удивлению, в пятиматчевом поединке в Сеуле программа обыграла чемпиона мира. За победой машины наблюдали 280 млн зрителей: это событие произошло на десятилетие раньше, чем предсказывали эксперты. В следующем году улучшенная версия AlphaGo победила китайского чемпиона по го.

Как и Deep Blue в 1997 году, AlphaGo изменила восприятие того, в чём состоит превосходство человека. Чемпионы по настольным играм, одни из самых блестящих умов на планете, больше не считались вершиной интеллекта. Почти через 20 лет после разговора с японским мастером Фудзувареа Хассабис исполнил своё обещание. Позже он сказал, что во время матча чуть не расплакался. По традиции, ученик го благодарит учителя, одолев его в матче. Хассабис отблагодарил Мэтьюза, одолев игру целиком.

DeepBlue победила благодаря грубой силе и скорости вычислений, но стиль AlphaGo казался художественным, почти человеческим. Его изящество и изощрённость, превосходство вычислительной мускулатуры словно показывали, что DeepMind дальше, чем конкуренты, продвинулся в разработке программы, способной лечить болезни и управлять городами.

________________________________________

Хассабис всегда говорил, что DeepMind изменит мир к лучшему. Но в сильном ИИ нет никакой уверенности. Если он когда-нибудь возникнет, мы не знаем, будет он альтруистичным или злонамеренным, подчинится ли человеческому контролю. Даже если и так, кто возьмёт на себя управление?

С самого начала Хассабис пытался защитить независимость DeepMind. Он всегда настаивал, чтобы DeepMind оставалась в Лондоне. Когда Google купил компанию в 2014 году, вопрос контроля стал более актуальным. Хассабис не обязан был продавать компанию. У него хватало денег, и он набросал бизнес-модель, по которой компания разрабатывает игры для финансирования исследований. Финансы Google имели вес, но, как и многие основатели, Хассабис не хотел отдавать компанию, которую взрастил. В рамках сделки DeepMind заключила соглашение, которое не позволит Google в одностороннем порядке взять под контроль интеллектуальную собственность компании. По словам осведомлённого лица, перед сделкой стороны подписали контракт под названием Соглашение об оценке этики и безопасности (Ethics and Safety Review Agreement). Соглашение, о котором ранее не сообщалось, было составлено серьёзными лондонскими юристами.

Соглашение передаёт контроль над основной технологией сильного ИИ компании DeepMind, когда бы ни был создан этот ИИ, а именно — руководящей группе под названием Совет по этике (Ethics Board). По словам того же источника, Совет по этике — не какая-то косметическая уступка со стороны Google. Он даёт DeepMind прочную юридическую поддержку для сохранения контроля над своей самой ценной и потенциально самой опасной технологией. Имена членов совета не были обнародованы, но другой источник, близкий к DeepMind и Google, говорит, что в него входят все три основателя DeepMind (компания отказалась отвечать на вопросы о соглашении, но сказала, что «контроль за этикой с первых дней был для нас приоритетом»).

Хассабис может определить судьбу DeepMind и в иных отношениях. Один из них — верность персонала. Прошлые и нынешние сотрудники говорят, что исследовательская программа Хассабиса — одна из самых сильных сторон DeepMind. Его программа предлагает увлекательную и важную работу, свободную от давления академических кругов. Такие условия привлекли сотни самых талантливых экспертов мира. У DeepMind дочерние офисы в Париже и Альберте. Многие сотрудники чувствуют бóльшую близость с Хассабисом и его миссией, чем с жаждущей доходов материнской корпорацией. Пока Хассабис сохраняет личную лояльность, у него значительная власть над своим единственным акционером. Для Google лучше, чтобы таланты DeepMind работали на неё через посредника, чем они уйдут в Facebook или Apple.

У DeepMind есть ещё один рычаг, хотя он требует постоянного пополнения: благоприятная реклама. Компания преуспевает в этом. AlphaGo стал настоящей пиар-бомбой. С момента приобретения Google фирма неоднократно производила чудеса, которые привлекали внимание всего мира. Одна программа DeepMind умеет диагностировать глазные заболевания по скану сетчатки. Другая научилась играть в шахматы с нуля, используя архитектуру в стиле AlphaGo, став величайшим шахматистом всех времён всего за девять часов самообучения. В декабре 2018 года программа под названием AlphaFold превзошла конкурентов в задаче прогнозирования трёхмерной структуры белков по списку компонентов, потенциально прокладывая путь к лечению таких заболеваний, как болезнь Паркинсона и болезнь Альцгеймера.

DeepMind особенно гордится разработанными алгоритмами, которые вычисляют наиболее эффективные средства охлаждения дата-центров Google, где работает примерно 2,5 миллиона серверов. DeepMind заявила в 2016 году, что они уменьшили расходы Google на электроэнергию на 40%. Но некоторые инсайдеры говорят, что это преувеличенная цифра. Google использовала алгоритмы для оптимизации дата-центров задолго до DeepMind: «Они просто хотят иметь некоторый пиар, чтобы повысить свою ценность в Alphabet», — говорит один сотрудник Google. Материнская для Google компания Alphabet щедро платит DeepMind за такие услуги. Так, в 2017 году DeepMind выставила ей счёт на £54 млн. Эта цифра бледнеет по сравнению с текущими расходами DeepMind: только на персонал в том году было потрачено £200 млн. В целом, убытки DeepMind в 2017 году составили £282 млн.

Это жалкие гроши для богатого интернет-гиганта. Но другие убыточные компании Alphabet привлекли внимание Рут Порат, бережливого главного финансового директора Alphabet. Например, подразделение Google Fiber пыталось создать высокоскоростного интернет-провайдера, проводя оптоволоконные линии в частные дома. Но проект приостановили, когда стало ясно, что потребуются десятилетия, чтобы вернуть инвестиции. Поэтому исследователям ИИ важно доказывать свою актуальность, чтобы не привлечь цепкий взгляд миссис Порат, чьё имя уже стало нарицательным в Alphabet.

Планомерные достижения DeepMind в области ИИ является частью стратегии взаимоотношения с владельцами компании. DeepMind сигнализирует о своей репутационной мощи. Это особенно важно, когда Google обвиняют во вторжении в частную жизнь пользователей и распространении фейковых новости. DeepMind также повезло иметь сторонника на самом высоком уровне: Ларри Пейдж, один из двух основателей Google, теперь исполнительный директор Alphabet. Пейдж — это самое близкое, что есть у Хассабиса в материнской компании. Отец Пейджа, Карл, изучал нейронные сети в 60-е годы. В начале своей карьеры Пейдж сказал, что создал Google исключительно для того, чтобы основать компанию ИИ.

Жёсткий контроль над DeepMind, чтобы хорошо выглядеть в глазах прессы, не совсем соответствует академическому духу, который пронизывает компанию. Некоторые исследователи жалуются, что им трудно опубликовать свои работы: приходится преодолевать несколько уровней внутренней цензуры, прежде чем они смогут хотя бы представить доклад для конференции или статью для журнала. DeepMind считает, что необходимо действовать осторожно, чтобы не пугать общественность перспективой сильного ИИ. Но слишком плотное молчание может испортить академическую атмосферу и ослабить лояльность сотрудников.

Через пять лет после приобретения Google вопрос о том, кто контролирует DeepMind, подходит к критической точке. Основатели фирмы и первые сотрудники скоро смогут уйти со своей финансовой компенсацией (акции Хассабиса, вероятно, после покупки Google стоят около £100 млн). Но источник, близкий к компании, предполагает, что Alphabet отодвинул время монетизации опционов основателей на два года. Учитывая свою неустанную сосредоточенность на миссии, Хассабис вряд ли покинет корабль. Деньги интересуют его лишь постольку, поскольку они помогают достичь цели всей жизни. Но некоторые коллеги уже ушли. С начала 2019 года компанию покинули три инженера ИИ. И Бен Лори, один из самых известных в мире специалистов по безопасности, теперь вернулся в Google, к своему предыдущему работодателю. Это число невелико, ведь DeepMind предлагает такую волнующую миссию и достойную оплату, что мало кто уходит.

До сих пор Google не вмешивалась в дела DeepMind. Но одно недавнее событие вызвало озабоченность по поводу того, как долго компания сможет сохранять независимость.

DeepMind всегда планировала использовать ИИ для улучшения здравоохранения. В феврале 2016 года было создано новое подразделение DeepMind Health во главе с Мустафой Сулейманом, одним из соучредителей. Сулейман, чья мать работала медсестрой в Национальной службе здравоохранения (NHS), надеялся создать программу под названием Streams, которая будет предупреждать врачей, когда здоровье пациента ухудшается. DeepMind должна была зарабатывать на каждом эффективном срабатывании системы. Поскольку эта работа требовала доступа к конфиденциальной информации о пациентах, Сулейман учредил Независимую контрольную комиссию (Independent Review Panel, IRP), в состав которой вошли представители британского здравоохранения и технологического сектора. DeepMind действовала очень осторожно. Впоследствии британский комиссар по информации обнаружил, что одна из больниц-партнёров нарушила закон при обработке данных о пациентах. Тем не менее, к концу 2017 года Сулейман подписал соглашения с четырьмя крупными больницами NHS.

8 ноября 2018 года Google сообщила о создании собственного подразделения Google Health. Пять дней спустя объявили, что DeepMind Health должна быть включена в состав материнского подразделения. Судя по всему, DeepMind никто не предупредил. Согласно документам, которые мы получили по запросу в соответствии с законом о свободе информации, DeepMind уведомила больницы-партнёры об этом изменении только за три дня. Компания отказалась сообщить, когда начались обсуждения по поводу слияния, но сказала, что короткий промежуток между уведомлением и публичным объявлением отвечает интересам прозрачности. Сулейман написал в 2016 году, что «ни на каком этапе данные пациентов никогда не будут связаны или ассоциированы с учётными записями, продуктами или услугами Google». Похоже, его обещание было нарушено. (Отвечая на вопросы нашего издания, DeepMind сказала, что «на данном этапе ни один из наших контрактов не перешёл в Google, и это возможно только с согласия наших партнёров. То, что Streams стал сервисом Google, не означает, что данные пациентов… могут использоваться в других продуктах или услугах Google»).

Аннексия Google разозлила сотрудников DeepMind Health. По словам людей, близких к этому подразделению, по завершении поглощения многие сотрудники планируют уволиться. Один из членов IRP, Майк Брэкен, уже ушёл. По словам нескольких человек, знакомых с событием, Брэкен ушёл в декабре 2017 года из-за опасений, что «контрольная комиссия» скорее представляет собой витрину, чем подлинный надзор. Когда Брэкен спросил Сулеймана, будет ли тот подотчётен комиссии и уравняет ли их полномочия с неисполнительными директорами, Сулейман лишь усмехнулся. (Представитель DeepMind сказал, что «не помнит» о таком инциденте). Джулиан Хупперт, глава IRP, утверждает, что группа обеспечила «более радикальное управление», чем ожидал Брекен, поскольку члены могли говорить открыто и не были связаны обязанностью соблюдать конфиденциальность.

Этот эпизод показывает, что периферийные подразделения DeepMind уязвимы перед Google. В заявлении DeepMind говорится: «Мы все согласились с тем, что имеет смысл объединить эти усилия в рамках одного совместного проекта с более мощным ресурсом». Возникает вопрос, не применит ли Google ту же логику к работе DeepMind над сильным ИИ.

Со стороны кажется, что DeepMind добилась большого успеха. Она уже разработала программное обеспечение, способное обучиться выполнять задачи на сверхчеловеческом уровне. Хассабис часто упоминает Breakout, видеоигру для консоли Atari. Игрок Breakout управляет платформой в нижней части экрана и отражает мяч, который отскакивает от блоков вверху, разрушающихся от удара. Игрок выигрывает, когда уничтожены все блоки. Проигрывает, если пропускает мяч. Без человеческих инструкций программа DeepMind не только научилась играть в игру, но и разработала стратегию, как запустить мяч в пространство над блоками, где он долго скачет и зарабатывает кучу очков без усилий со стороны игрока. По словам Хассабиса, это демонстрирует силу обучения с подкреплением и сверхъестественные способности компьютерных программ DeepMind.

Впечатляющая демонстрация. Но Хассабис кое-что упускает. Если виртуальную платформу переместить хотя бы на пару пикселей вверх, программа потерпит неудачу. Навык, приобретённый программой DeepMind, настолько ограничен, что не может реагировать даже на крошечные изменения в окружающей среде, которые способен учитывать человек — по крайней мере, не без тысяч дополнительных раундов обучения. Но подобные изменения — неотъемлемая часть окружающей действительности. Для диагноста нет двух одинаковых органов тела. Для механика никакие два двигателя невозможно настроить одинаково. Поэтому системы, обученные в виртуальном пространстве, могут испытать трудности при запуске в реальных условиях.

Второй подвох, о котором редко говорит DeepMind, заключается в том, что успех в виртуальных средах зависит от наличия функции вознаграждения: сигнала, который позволяет нейросети измерять свой прогресс. Программа видит, что многократный рикошет от задней стены увеличивает счёт. Главной частью разработки AlphaGo было создание функции вознаграждения, совместимой с такой сложной игрой. К сожалению, реальный мир не предлагает простых вознаграждений. Прогресс редко измеряется отдельными баллами. Даже если они существуют, задача осложняется политическими проблемами. Настройка сигнала вознаграждения на улучшение климата (концентрация CO₂ в атмосфере) противоречит сигналу вознаграждения для нефтяных компаний (цене акций) и требует компромисса с многими людьми противоречивых мотиваций. Сигналы вознаграждения, как правило, очень слабы. Человеческий мозг редко получает чёткую обратную связь об успехе задачи во время её выполнения.

________________________________________

DeepMind нашла действенный способ обучения, используя огромный объём вычислительных ресурсов. Программа AlphaGo обучалась в течении тысяч лет игрового времени, прежде чем что-то поняла. Многие специалисты по ИИ подозревают, что такой способ не сработает для задач, которые предлагают более слабые вознаграждения. DeepMind признаёт проблему. Недавно она сосредоточилась на StarCraft 2, стратегической компьютерной игре. Решения, принятые в начале игры, имеют гораздо более поздние последствия, что ближе к запутанной и запоздалой обратной связи в реальном мире. В январе программа DeepMind победила некоторых из лучших игроков в мире в демо-версии, которая, хотя и была сильно ограничена, всё ещё впечатляла. Её программы также начали изучать функции вознаграждения с учётом обратной связи от учителя-человека. Но задействуя учителя, вы рискуете потерять эффект масштаба и скорости, которые предлагала чистая компьютерная обработка.

Нынешние и бывшие исследователи DeepMind и Google, которые попросили сохранить анонимность из-за строгих соглашений о неразглашении, также выразили скептицизм, что с помощью таких методов DeepMind может создать сильный ИИ. По их мнению, акцент на высокой производительности в виртуальных средах затрудняет решение проблемы с сигналом вознаграждения. И всё же игровой подход лежит в основе DeepMind. В компании есть внутренняя таблица лидеров, где программы от конкурирующих программистских команд соперничают за виртуальные домены.

Хассабис всегда воспринимал жизнь как игру. Большая часть его карьеры посвящена разработке игр, а большая часть свободного времени потрачена на игровую практику. В DeepMind он избрал игры как основное средство для создания сильного ИИ. Как и его программное обеспечение, Хассабис может учиться только на своём опыте. Люди могут забыть о первоначальной задаче, поскольку DeepMind уже изобрела некоторые полезные медицинские технологии и превзошла по классу величайших игроков в настольные игры. Это значительные достижения, но не те, которых жаждет основатель компании. Впрочем, у него всё ещё есть шанс создать сильный ИИ прямо под носом у Google, но вне контроля корпорации. Если это получится, то Демис Хассабис победит в самой сложной игре.

Автор: m1rko