Американская киноактриса и режиссер Кристен Стюарт стала соавтором публикации, в которой описывается перенос художественного стиля с помощью нейросетей. Препринт доступен на arXiv.org.

В последнее время нейросети активно используются в области обработки и распознавания изображений, в том числе уже и в коммерческих продуктах — например, приложение Prisma для смартфонов умеет перерисовывать заданное изображение в соответствии с выбранным стилем.

В самой публикации описывается обработка некоторых сцен фильма Come Swim, который сняла Кристен Стюарт. Для переноса стиля использовалась картина, которая изначально вдохновила режиссера на создание фильма о человеке под водой, который пробуждается от сна.

Оригинальный кадр из Come Swim. Bhautik Joshi, Kristen Stewart, David Shapiro

Несколько разных по «интенсивности стиля» вариантов обработки кадра. Bhautik Joshi, Kristen Stewart, David Shapiro

Изначально для обработки кадров авторы публикации рассматривали нейросети googlenet или VGG c 19 слоями, однако в первом случае их не устроил результат обработки, а во втором случае время обработки оказалось слишком долгим. В результате для получения нужного эффекта использовалась подготовленная сверточная нейросеть VGG с 16 слоями. Все предварительные работы производились над превью низкого разрешения, а для обработки кадров в полном размере использовался сервис облачных вычислений Amazon EC2. После этого кадры дополнительно увеличили до итогового разрешения в 2048 пикселей и отфильтровали от шума — суммарно на весь процесс обработки одного кадра у авторов уходило около 40 минут.

Ранее нейросети уже применяли для обработки кадров видео — например, немецкие ученые перенесли художественный стиль Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы и кино. Кроме того, существуют программы, способные смешивать сразу несколько стилей для обработки изображений и видео. 

Николай Воронцов