Ученые из Университета Неймегена создали нейронную сеть, которая умеет воссоздавать цветные фотографии по зарисовкам. Работа авторов размещена на сайте arXiv.

Для обучения сверточной нейросети, состоящей из 11 слоев, исследователи использовали 200 тысяч фотографий лиц людей. С помощью компьютерной программы они были превращены в контурные, черно-белые или цветные эскизы. В ходе тренировки нейросеть должна была самостоятельно превратить зарисовку в реалистичную фотографию, которую могла бы сделать обычная фотокамера.

Набросок, сделанный Винсентом Ван Гогом. Two Self-Portraits and Several Details, Vincent van Gogh, 1886 / Public Domain

Затем ученые проверили ее работу с помощью новой базы данных. В итоге, наиболее качественными оказались фотографии, сделанные по эскизам, где были обозначены только контуры лица (индекс структурного сходства 0,85), причем нейросеть могла создавать цветные изображения даже на основе черно-белых скетчей. Наименьшее сходство с оригинальными фотографиями достигалось, если за основу были взяты черно-белые зарисовски (индекс структурного сходства 0,65). Кроме того, для теста ученые ввели в систему автопортреты известных художников — Ван Гога, Рембрандта и Эшера — сделанные с помощью карандаша. Нейросети также удалось создать реалистичные цветные изображения на основе картин художников.

Результаты работы нейросети с тремя типами эскизов. Yagmur Gucluturk et al / ArXiv

Цветные портреты художников, воссозданные на основе черно-белых оригинальных эскизов. Yagmur Gucluturk et al / ArXiv

Некоторые трудности возникали, когда в скетчах, сделанных с помощью простого карандаша, не было достаточного количества теней.

«Это можно объяснить отсутствием таких признаков в обучающих данных», — комментируют авторы работы и замечают, что эти трудности можно преодолеть просто включив в базу изображений эскизы, которые больше будут похожи на настоящие работы художников.

Ученые предлагают использовать свою работу для воссоздания портретов знаменитых художников, которые не оставили после себя фотографий, но оставили наброски, и для фотороботов преступников. Недавно нейрофизиологам также удалось реконструировать изображения лиц при помощи нейросети, однако в этом случае за основу были взяты данные томографии, сделанной во время того, как они смотрели на цветные фотографии людей.

Автор: Кристина Уласович