«Такими людей видят компьютеры» – сообщил в Twitter Робби Баррат, продемонстрировав сюрреалистические картины, которые создала написанная им нейросеть. Честно говоря, эти произведения – зрелище не из приятных. Персонажи картин больше похожи на существ из Сайлент Хилл, чем на людей – у большинства нет голов, а если и есть – то они почему-то выглядят как странные фиолетовые текстуры.

Да и сам разработчик не скрывает того, что результат получился довольно пугающим. В интервью для CNet Робби называет работы нейросети «сюрреалистическими каплями плоти с конечностями».

И если раньше нейросети-художники обсуждались в более-менее узких кругах, то 25 октября 2018 года эта тема создала резонанс. Все из-за того, что группа французских студентов под названием Obvious продала на аукционе картину, созданную нейросетью, код для которой написал Робби. Так трое студентов с чужим кодом и яркой пиар-кампанией стали ключевыми фигурами в обсуждениях AI-искусства. Заслуженно ли? Давайте разберемся.

Кто такой Робби Баррат

Сейчас Робби Баррату 19 лет, он работает и преподает в Стэнфордской лаборатории биоинформатики. Свое детство Робби провел на родительской ферме в Западной Вирджинии – вдали от новых технологий и компьютерных разработок. В интервью для The Stanford Daily парень вспоминает, что информатику в их школе преподавал учитель физкультуры, а компьютеры нуждались в обновлении. Тем не менее, это не помешало Робби заниматься изучением нейросетей.

Нейросети для Баррата были своеобразным хобби, которому он уделял много времени после школы. Последние несколько месяцев он читал лекции по исследованиям искусственного интеллекта и нейробиологии, а картина, которую создала его нейросеть, появилась на обложке Bloomberg.

Обложка Bloomberg с пейзажем, нарисованным ИИ. Источник: 1fuzz.com

«Я приехал в Калифорнию почти сразу после окончания средней школы, чтобы работать в NVIDIA. Они заметили на GitHub проект, в котором я научил нейронную сеть писать реп, и предложили мне стажировку. Недавно я покинул NVIDIA и пришел на работу в лабораторию».

ИИ-репер и треки Канье Уэста

Свой первый ИИ Робби Баррат создал в 17 лет – чтобы выиграть спор. Тогда участники школьного клуба программирования, где Робби был председателем, спорили о том, может ли искусственный интеллект выполнять задачи лучше, чем люди. Баррату казалось, что ответ очевиден, но несколько сверстников до последнего отстаивали теорию «человеческого превосходства».

«Внезапно у меня появилась идея создать нейронную сеть, которая могла бы читать реп», – вспоминал Баррат.

Через неделю, когда клуб снова встретился, он представил уже написанную ИИ песню. ИИ-реп был первым серьезным проектом Робби Баррата. Разработчик утверждает, что большую часть исходного кода он написал за вечер, а следующие несколько дней потратил на оптимизацию результатов. Последняя итерация обучилась на 6 000 записей треков Канье Уэста и могла генерировать речь и паузы, которые почти всегда звучали в тему.

«Изначально ИИ просто переставлял местами фразы из песен, но теперь он может писать свои собственные слова», – сказал Баррат.

ИИ-кутюрье и показ от Balenciaga

Песни были всего лишь стартом. В августе 2018-го Робби опубликовал в Twitter свои новые наработки – созданную ИИ коллекцию одежды, основанную на фото моделей с показа Balenciaga.

Робби Баррат собрал изображения моделей одежды Balenciaga с лукбуков, рекламных кампаний, показов и онлайн-каталогов за последние два месяца, а затем использовал их для обучения нейронной сети pix2pix. На выходе получились образы ничем ни хуже оригиналов Balenciaga.

«Поскольку нейросеть не ограничена человеческим вкусом, стилем и историей, она придумывает вещи, которые никогда не пришли бы в голову человеку. Мне нравится, как сеть игнорирует симметрию», – пишет Баррат в Twitter.

К примеру, нейросеть предложила штаны, в которых карман будет располагаться на голени. Эта идея так понравилась Робби, что он решил пошить такие для себя и других ценителей моды. Даже если идеи ИИ не всегда выглядят реалистично, Баррат считает, что дизайнеры могут использовать такой инструмент для поиска вдохновения.

Складки жира и пупки: какими ИИ видит голых людей

Еще до проекта с Balenciaga Робби создал нейросеть, которая умеет генерировать картины. Сначала это были пейзажи и портреты людей. За ними последовала коллекция под названием Nudes, сгенерированная на образцах картин с голыми людьми.

Нейросети умеют создавать картины, придумывать одежду и писать песни во многом благодаря Яну Гудфеллоу. Работа Гудфеллоу по GAN, опубликованная в 2014 году, – это легенда AI. Говорят, идея создать генеративно-состязательные сети пришла Яну спустя несколько бокалов пива, когда он сидел с друзьями в пабе. Тогда Гудфеллоу задумался: а что, если нейронные сети могут конкурировать друг с другом?

Картины, созданные с использованием GAN, обладают особой эстетикой. С их помощью мы можем увидеть, как алгоритмы обрабатывают информацию.

Сети знают, как копировать основные визуальные шаблоны, но не имеют понятия, как сочетать их друг с другом. Это отражено и в картинах нейросети Баррата – с первого взгляда изображенное чем-то похоже на человеческие тела, но их границы нечеткие, фигуры тают друг в друге, а правила анатомии отсутствуют в принципе.

«Создание хороших картин высокого разрешения занимает около двух недель. Дискриминатор снова и снова просматривал 30 000 картин. Вероятно, он просмотрел весь набор данных, как минимум, по 10 000 раз. А значит, для обучения нейросети понадобилось несколько миллионов образцов, – объяснял Баррат. – В начале обучения нейросети плохо работали. Дискриминатор не различал картины, а генератор просто создавал шумы. Но пока генератор получал обратную связь от дискриминатора, последний также тренировался: у него появился доступ как к реальным картинам, так и к поддельным, созданным генератором. Коллекция картин Nudes оказалась ужасной, но в хорошем смысле. Генератор просто пытался получить хороший балл от дискриминатора. Он выяснил, что дискриминатор обращает внимание только на низкоуровневые функции – например, на складки жира и пупки. Когда генератор подавал дискриминатору картину с такими составляющими, проверяющая сеть засчитывала ее как реальную. Генератор одурачил дискриминатора, накормив его этими ужасными каплями плоти со складками. Дискриминатор сказал: «да, это портрет обнаженного тела», и в этот момент обучение прекратилось. Генератору уже не нужно было улучшаться. Когда картины не получились, я расстроился. Но стоит признать, что результаты довольно занимательны. Если бы дискриминатор пропускал только красивые изображения, они привлекли бы внимание минут на десять. Мы уже видели много обнаженных портретов – люди рисовали их большую часть истории. Нейронная сеть создает новый стиль живописи, хотя он и непривычен».

Так чей код?

Картины, нарисованные ИИ – не новое направление, но как об искусстве о нем заявили только недавно. 25 октября портрет «Эдмонд де Белами, из семьи де Белами», созданный GAN, был продан на аукционе Christie’s за $432 500. Представители аукционного дома заявили, что эта сумма почти в 45 раз выше той, в которую оценили работу предварительно.

Авторами работ выступила группа из трех французских студентов под названием Obvious. Как они отметили после аукциона, картина была посвящена Яну Гудфеллоу: с французского «bel ami» означает «хороший друг». К слову, автора оригинального кода, Робби Баррата, в благодарственной речи тоже упомянули, но очень косвенно.

«Мы хотели бы поблагодарить AI-сообщество, особенно тех, кто впервые использовал технологию. Это Ян Гудфеллоу, создатель алгоритма GAN, который вдохновил нас на название серии «Famille de Belamy» и Робби Баррат, который оказал большое влияние на нас. Это захватывающий момент, и мы надеемся, что эта продажа привлечет внимание к работе, которую делают наши предшественники и коллеги», – заявил Хьюго Кассель-Дюпре, технических лидер Obvious.

Но если ценителей искусства работа Obvious заинтриговала, то ИИ-разработчиков она, скорее, ввела в недоумение.

В интервью для The Verge Робби говорил, что Obvious обращались к нему с просьбой использовать «компонент» его кода. Но после согласия они начали производить работы, идентичные выложенным на его GitHub. С этого момента АИ-разработчики начали рассуждать, кому все-таки принадлежит код: Баррату или Obvious?

Американский портал The Verge посвятил данному вопросу целое расследование. К нему присоединились и другие ИИ-художники.

Марио Клингеманн, ИИ-художник из Германии, был потрясен тем, что аукцион продал картину за сотни тысяч долларов. В интервью для The Washington Post он сказал, что некоторое время считал это «шуткой среди олигархов».

«Для меня это дилетантская работа, эквивалентная детским проектам, которые могут оценить только родители, – заявил Клингеманн. – Но я думаю, что людям, которые никогда раньше не видели чего-то подобного, это может показаться интересным».

В письме для The Verge художник писал: «Вероятно, 90% фактической работы было сделано Барратом». Том Уайт, академик и AI-художник из Новой Зеландии, также сообщил The Verge, что работа очень похожа.

«Я знал, что люди будут использовать мой код в качестве компонентов своих проектов. Но я никогда не думал, что кто-нибудь продаст его – хотя бы потому, что моя работа еще не настолько качественна. Этот код я написал в свободное время, когда еще учился в школе», – сказал Баррат в комментарии для The Washington Post.

Почему тогда Obvious зарабатывают деньги на картинах, а Робби Баррат – нет?

К слову, Obvious никогда не отрицали, что их работа опиралась на чужой код. Хьюго Кассель-Дюпре подтвердил, что элементы были заимствованы у Баррата: «Если говорить о коде, то он не потерпел больших изменений, но на саму работу с нейросетью мы потратили много сил».

Из всего этого следует вопрос: как полудилетантская, полузаимствованная работа могла вообще попасть в руки Christie’s? Ведь это не просто аукционный дом – это лидер мирового арт-рынка, суммарная выручка которого только по итогам 2015 года составила £4,8 ($7,4 млрд).

Вероятно, одной из причин успеха Obvious стало их умение подать себя.

В пресс-материалах, которые трио отправило в начале 2018 года, звучали подобные девизы: «Творчество не только для людей», а также «Искусственный интеллект сумел создать искусство». Такие новости у СМИ были нарасхват.

Первая страница пресс-релиза, который Obvious рассылала в СМИ. Источник: The Verge

Хотя красивые фразы и не совсем соответствуют действительности, Christie’s были готовы это купить. И, как оказалось, не прогадали.

Скорее всего, Баррат при желании все равно ничего не докажет – но он вроде и не особо хочет. Разве что постит в Twitter-е язвительные посты.