Практически все, что вы слышите об искусственном интеллекте сегодня, происходит благодаря глубокому обучению. Эта категория алгоритмов работает со статистикой, чтобы найти закономерности в данных, и показала себя чрезвычайно мощной в имитации человеческих навыков, таких как наша способность видеть и слышать. В очень узкой степени она даже может подражать нашей способности рассуждать.

Такие алгоритмы поддерживают работу поиска Google, новостной ленты Facebook, механизм рекомендаций Netflix, а также формируют такие отрасли, как здравоохранение и образование.

Как развивается глубокое обучение

Несмотря на то, что глубокое обучение практически в одиночку явило искусственный интеллект общественности, оно представляет собой лишь небольшую вспышку в исторической задаче человечества воспроизвести собственный интеллект. Оно было на передовой этих поисков меньше десятка лет. Если же отдалить всю историю этой области, легко понять, что вскоре и она может отойти.

«Если бы в 2011 году кто-то написал, что глубокое обучение окажется на первых полосах газет и журналов через несколько, мы бы такие: вау, ну и дурь ты куришь», – говорит Педро Домингос, профессор компьютерных наук из Университета Вашингтона и автор книги «The Master Algorithm».

По его словам, внезапные взлеты и падения различных методов долгое время характеризовали исследования в области ИИ. Каждое десятилетие наблюдается горячая конкуренция между различными идеями. Затем, время от времени, переключатель щелкает и все сообщество начинает заниматься чем-то одним.

Наши коллеги из MIT Technology Review захотели визуализировать эти треволнения и старты. С этой целью они обратились к одной из крупнейших баз данных открытых научных работ, известной как arXiv. Они загрузили выдержки из 16 625 статей, доступных в разделе «искусственный интеллект» по 18 ноября 2018 года и отследили слова, упомянутые за эти годы, чтобы увидеть, как развивалась эта область.

Благодаря их анализу, выявилось три основные тенденции: сдвиг в сторону машинного обучения в конце 90-х — начале 2000-х, рост популярности нейронных сетей, который начался в начале 2010-х, и рост обучения с подкреплением в последние несколько лет.

Но сперва несколько оговорок. Во-первых, секция arXiv с ИИ восходит к 1993 году, а термин «искусственный интеллект» относится к 1950-м годам, поэтому сама база данных представляет собой только последние главы истории этой области. Во-вторых, документы, добавляемые в базу каждый год, представляют собой лишь часть работы, которая проводится в этой области на данный момент. Тем не менее, arXiv предлагает отличный ресурс для выявления некоторых крупных исследовательских тенденций и для того, чтобы увидеть перетягивания каната между различными идейными лагерями.

Парадигма машинного обучения

Самый большой сдвиг, который обнаружили исследователи, это уход от систем, основанных на знании, к началу 2000-х годов. Такие компьютерные системы основываются на идее о том, что можно закодировать все знания человечества в системе правил. Вместо этого ученые обратились к машинному обучению — родительской категории алгоритмов, включающих глубокое обучение.

Среди 100 упомянутых слов, связанные с системами на основе знаний — «логика», «ограничения» и «правило» — уменьшались больше всех. А связанные с машинным обучением — «данные», «сеть», «производительность» — росли больше остальных.

Причина этой перемены погоды очень проста. В 80-х годах системы, основанные на знаниях, набирали популярность среди поклонников, благодаря волнению вокруг амбициозных проектов, которые пытались воссоздать в машинах здравый смысл. Но когда эти проекты развернулись, исследователи столкнулись с крупной проблемой: нужно было закодировать слишком много правил, чтобы система могла делать что-то полезное. Это приводило к увеличению расходов и значительно замедляло текущие процессы.

Ответом на эту проблему стало машинное обучение. Вместо того, чтобы требовать от людей ручного кодирования сотен тысяч правил, этот подход программирует машины для автоматического извлечения этих правил из кучи данных. Точно так же эта область отказалась от систем, основанных на знаниях, и обратилась к совершенствованию машинного обучения.

Бум нейросетей

В рамках новой парадигмы машинного обучения переход к глубокому обучению произошел не сразу. Вместо этого, как показал анализ ключевых терминов, ученые протестировали множество методов в дополнение к нейронным сетям, основным механизмам глубокого обучения. Среди других популярных методов были байесовские сети, метод опорных векторов и эволюционные алгоритмы, все они используют разные подходы к поиску закономерностей в данных.

На протяжении 1990-х и 2000-х годов между этими методами существовала устойчивая конкуренция. Затем, в 2012 году, кардинальный прорыв привел к очередной смене погоды. Во время ежегодного конкурса ImageNet, призванного ускоритель прогресс в области компьютерного зрения, исследователь по имени Джеффри Хинтон вместе со своими коллегами из Университета Торонто добился наилучшей точности в распознавании изображений с погрешностью чуть более 10%.

Техника глубокого обучения, которую он использовал, породила новую волну исследований — сперва в сообществе визуализаторов, а затем и за его пределами. Поскольку все больше и больше ученых начинало использовать ее для достижения впечатляющих результатов, популярность этой техники, наряду с популярностью нейронных сетей, резко возросла.

Рост обучения с подкреплением

Анализ показал, что через несколько лет после расцвета глубокого обучения, произошел третий и последний сдвиг в исследованиях ИИ.

Помимо различных методов машинного обучения, существует и три различных типа: обучение контролируемое, неконтролируемое и с подкреплением. Контролируемое обучение, которое включает в себя скармливание машине помеченных данных, используется наиболее часто, а также имеет больше всего практических применений на сегодняшний день. Однако в последние несколько лет обучение с подкреплением, которое имитирует процесс обучения животных посредством «кнута и пряника», наказаний и поощрений, привело к быстрому росту упоминаний его в работах.

Сама идея не нова, но многие десятилетия она не работала.

«Специалисты по контролируемому обучению смеялись над специалистами по обучению с подкреплением», – говорит Домингос.

Но, как и с глубоким обучением, один поворотный момент внезапно вывел метод на первый план. Этот момент наступил в октябре 2015 года, когда AlphaGo от DeepMind, обученный с подкреплением, победил чемпиона мира в древней игре го. Влияние на исследовательское сообщество было мгновенным.

Следующие десять лет

Анализ MIT Technology Review обеспечивает только новейший слепок конкуренции среди идей, которые характеризуют исследования ИИ. Однако он иллюстрирует непостоянство стремления к дублированию интеллекта.

«Важно понять, что никто не знает, как решить эту проблему», – говорит Домингос.

Многие из методов, которые использовались на протяжении 25 лет, появились примерно в одно и то же время в 1950-х годах, и не смогли соответствовать вызовам и успехам каждого десятилетия. Нейронные сети, например, достигли своего пика в 60-х и немного в 80-х, но чуть не умерли, прежде чем вновь обрести свою популярность, благодаря глубокому обучению.

Каждое десятилетие, другими словами, видело господство другой техники: нейронные сети в конце 50-х и 60-х, различные символические попытки в 70-х, системы на основе знаний в 80-х, байесовские сети в 90-х, опорные векторы в нулевых и нейросети снова в 2010-х.

2020-е не будут ничем отличаться, говорит Домингос. А значит эпоха глубокого обучения может вскоре закончиться. Но что будет дальше — старая методика в новой славе или же совершенно новая парадигма — вот это предмет ожесточенных споров в сообществе.

«Если вы ответите на этот вопрос, – говорит Домингос, – я хочу запатентовать ответ».

Автор Илья Хель