Германские ученые применили нейросети для переноса художественного стиля Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы. Препринт публикации доступен на arXiv.org.

Сотрудники Фрайбургского университета воспользовались недавними наработками по переносу стиля художников на статичные иллюстрации. Эти работы показали, что стиль не зависит от содержания картины, и его можно применить к любому изображению. Для этого поверхностные слои сверточной нейронной сети распознают наиболее общие признаки, такие как цветовая палитра, а с увеличением их глубины детализация возрастает.

Авторы исследования применили известную нейронную сеть VGG. С ее помощью они переносили стиль художника с конкретной картины на каждый кадр видео. Разработанный ими алгоритм анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Computer Vision Freiburg

Чтобы сделать переход от кадра к кадру плавным, эти ограничения учитывали оптический поток оригинального видео, и отбраковывали отличия не по кадрам в целом, а по траекториям отдельных точек.Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя.Сначала это занимало около восьми минут на кадр, в процессе оптимизации среднее время снизилось до трех минут на кадр.

Автор: Олег Лищук