Специалисты из DeepMind, отделения Google, отвечающего за исследования искусственного интеллекта, разработали нейросеть, которая умеет соотносить видеоряд со звуком, и таким образом учится распознавать объекты без предварительного понимания того, что перед ней находится. Препринт статьи опубликован на сайте arXiv.

Развитие в области нейросетей и, в частности, компьютерного зрения научило искусственный интеллект распознавать объекты реального мира. Алгоритмы Microsoft, например, умеют определять то, что изображено на фотографии, с точностью до 95 процентов. Однако, для того, чтобы обучить такую нейросеть, требуется использование очень большого количества размеченной человеком информации: чтобы компьютер научился узнавать, например, собак, он сначала должен обучиться концепту того, что такое собака, обработав миллионы изображений животного. Определение объектов с помощью методов машинного обучения без учителя (unsupervised learning), то есть без предварительной разметки изображенных объектов, — задача более сложная.

Тепловые карты изображений, взятых для анализа. Arandjelović & Zisserman / arXiv 2017

Авторы новой работы представили алгоритм, главная задача которого — решение задания на соотнесение видео и аудио (Audio-Video Correspondance task, или коротко AVC). Алгоритм состоит из трех частей: первая нейросеть обрабатывает изображения, взятые из видео, вторая – аудио, соответствующие этим изображениям, третья часть учится соотносить изображения с определенным звуком. Алгоритм был обучен на 60 миллионах изображений и соответствующих им звукам, каждый из которых длился одну секунду.

Схема работы алгоритма. Arandjelović & Zisserman / arXiv 2017

В итоге, алгоритм научился правильно определять объекты и явления (например, игру на саксофоне или мужскую речь) по звуку и изображению в 79 процентах случаев. Для сравнения, подобный алгоритм, созданный при помощи машинного обучения с учителем, SoundNet, правильно определяет объект по звуку в 74 процентах случаев.

Создатели алгоритма отмечают, что, используя созданную ими систему, искусственный интеллект может научиться определять объекты окружающего его мира не путем предварительного обучения определенным концептам, а взаимодействуя с ними в реальном времени, слушая и наблюдая, – точно так же, как это делают люди.

Специалисты из DeepMind добиваются успеха во многих областях применения искусственного интеллекта. Так, в нашей заметке вы можете прочитать о том, как нейросеть одержала победу в игре го над профессиональными игроками, а здесь — об успехах в компьютерном синтезе человеческого голоса.

Автор: Елизавета Ивтушок