Студенты Университета Иннополис представили на XIV Международном экономическом форуме «Россия — Исламский мир: KazanForum» сервис для генерации картин НейроХудожник, который создает картину, граффити или аниме на основе наброска. С помощью несколько нейросетей приложение позволяет на основе наброска сгенерировать картину в стиле одного из четырех известных художников.

НейроХудожник использует модель BLIP-large, чтобы определить, что нарисовал пользователь. На основе собранных данных Stable Diffusion v 1.5 преобразует набросок в картину в одном из четырех узнаваемых художественных стилях: пейзажиста Ивана Шишкина, основоположника супрематизма Казимира Малевича, автора классических аниме Хаяо Миядзаки и уличного художника Бэнкси.

Обучение нейросетей мы провели на тысяче картинах художников, чтобы уловить особенности и детали работ каждого. Дополнительно установили в приложение блок поверх второй модели, который следит за тем, что нарисовал пользователь, и контролирует пространственную информацию 40 % первых шагов. Благодаря этому итоговая ИИ-картина получается похожей на изначальный набросок, – Яков Сапаров, студент Университета Иннополис, ML-специалист НейроХудожника.

Примеры картин, сгенерированных НейроХудожником. Изображения: Университет Иннополис

В дни проведения форума 438 участников нарисовали свои картины с помощью приложения на стенде Университета Иннополис. А всего НейроХудожником воспользовались больше 6 тыс. человек, которые сгенерировали свыше 30 тыс. рисунков, сообщают разработчики. Чаще всего пользователи выбирали стили Хаяо Миядзаки и Ивана Шишкина.

Посетители стенда удивлялись и детально рассматривали результаты, спрашивали про мобильную версию сервиса, а некоторые даже хотели заказать у нас физическую копию получившейся картины. Возможно, это перспективная идея для нашего следующего стартапа, -Сергей Полин, студент Университета Иннополис, основатель НейроХудожника.

Исследователи продолжают работать над совершенствованием сервиса. Они планируют расширить коллекции стилей и направлений, доработать алгоритмы для улучшения качества картин и запустить мобильное приложение. Протестировать работу сервиса и создать собственную картину можно по ссылке.