Разработчики из Microsoft представили новую архитектуру генеративно-состязательной нейросети, которая умеет рисовать изображения на основе текстового описания качественнее алгоритмов, представленных ранее.

Препринт статьи с описанием работы алгоритма опубликован на сайте компании, а также разработчики представят доклад на конференции CVPR 2019, которая сейчас проходит в Калифорнии.

Сама по себе задача создания изображений на основе текстового описания (text-to-image) уже не новая: сейчас для этого успешно используются генеративно-состязательные нейросети. Например, в начале прошлого года алгоритм, основанный на работе внимательной генеративно-состязательной сети (attentional GAN, или AttGAN), представила команда разработчиков из Microsoft. Несмотря на свою эффективность, такие алгоритмы умеют воссоздавать только базовые примеры (другой пример — алгоритм, который умеет по описанию рисовать портреты), а вот со сложными сценами с множеством разных объектов справляются пока что плохо.

Исправить этот недостаток решила другая группа разработчиков из Microsoft под руководством Вэньбо Ли (Wenbo Li).