Исследователи из Калифорнийского университета в Санта-Барбаре, лаборатории Disney Research и мультипликационной студии Pixar Animation Studios научили нейросеть убирать шум с рендеров кадров мультфильмов или смоделированных на компьютере объектов в фильмах. Согласно сообщению университета, подробности об этом будут представлены на конференции компьютерной графики SIGGRAPH в Лос-Анджелесе 31 июля — 3 августа 2017 года.

При составлении сцены на компьютере мультипликаторам или специалистам по компьютерным эффектам приходится работать со множеством параметров, включая наложение текстур, освещение с множеством источников и взаимодействие объектов. Сперва сцена составляется на уровне каркасов, а затем уже отправляется на рендер. Во время этого процесса компьютер кадр за кадром просчитывает мультфильм, накладывая текстуры и отрисовывая освещенность в соответствии с расположением источников света.

Процесс рендера занимает очень много времени, причем чем сложнее сцена с точки зрения множества объектов и освещения, тем дольше будет идти рендер кадров. Для ускорения процесса аниматоры обычно идут на некоторые упрощения, которые обычно при просмотре фильма незаметны. В первую очередь из сцены убираются лишние источники света, а также производится упрощение каркасов 3D-моделей. В итоге во время рендера особенно затемненных сцен на готовом изображении может появляться шум, напоминающий «зерно» на старых фотографиях.

Обученная американскими исследователями нейросеть научилась эффективно убирать такой шум, не причиняя вреда изображению. Обучение нейросети производилось на базе неудачных рендеров из мультфильма «В поисках Дори». Позднее уже обученную нейросеть проверили на мультфильмах «Тачки 3» и «Тайна Коко». Во всех случаях шум с готовых изображений был полностью удален, причем качество уже готового изображения практически соответствовало качеству рендеров, полученных при расчете с бо́льшей детализацией и бо́льшим количеством источников света.

В мае прошлого года исследователи из Фрайбургского университета представили нейросеть, обученную переносить художественный стиль Винсента Ван Гога и Эдварда Мунка на любые изображения, в том числе и видео. Авторы исследования применили нейронную сеть VGG. С ее помощью они переносили стиль художника с конкретной картины на каждый кадр видео. Разработанный ими алгоритм анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Автор: Василий Сычёв