Исследователи из Калифорнийского университета в Беркли создали программу, способную реалистично раскрашивать черно-белые фотографии. Препринт работы доступен на arxiv.org. Кратко об исследовании рассказывает PetaPixel. Исходный код опубликован в репозитории GitHub.

Слева направо: черно-белое изображение, раскрашенное нейросетью и фотография с изначальными цветами. Richard Zhang et al. / University of California, Berkeley

Пример обработки черно-белых изображений нейросетью. Richard Zhang et al. / University of California, Berkeley

Пример обработки черно-белых изображений нейросетью. Richard Zhang et al. / University of California, Berkeley

Авторы работы использовали сверточную нейронную сеть (CNN), для обучения которой использовались готовые классифицированные наборы изображений, в том числе SUN. Благодаря этому программа при обработке изображения определяет, к какому типу сцен относится изображение и ориентируется на похожие снимки при подборе цветов.

Слева направо: черно-белое изображение, раскрашенное нейросетью и фотография с изначальными цветами. Richard Zhang et al. / University of California, Berkeley

При оценке результатов работы программы участники опроса в 20 процентах случаев посчитали, что снимки раскрашены человеком. Авторы работы отмечают, что этот показатель выше, чем у предыдущих исследований в этой же области.

Пример ошибочного выбора цветов. Richard Zhang et al. / University of California, Berkeley

Ранее была представлена нейросеть, которая умеет создавать изображения в стилистике, задаваемой картинами художников. На «вход» подается образец стиля в виде картины и ее семантической карты, которая фактически представляет деление изображения на зоны сходной фактуры, и простой набросок того, что должно получиться.

Автор: Николай Воронцов