Канадские исследователи создали нейросеть, которая поможет сделать трехмерные изображения местности в компьютерной графике более реальными. Обучив алгоритм, работающий по принципу порождающих состязательных сетей, на снимках спутников поверхности Земли, сделанных NASA, ученые смогли воссоздать высоту и текстуру реальных местностей. Статья опубликована на сайте arXiv.

С развитием технологий компьютерные игры становятся все лучше, во многом благодаря натуральности используемой графики. Ландшафты, например, могут максимально реально отображать настоящие земные пейзажи, однако для этого чаще всего приходится либо создавать макеты вручную, что затратно, либо использовать различные алгоритмы, большинство из которых способно воссоздавать ограниченное количество «простых» местностей. 

Авторы новой работы предложили способ автоматического создания ландшафтных структур на основе реальных изображений различных видов местности при помощи нейросети. Структура этой нейросети основывается на работе порождающих состязательных сетей (generative adversarial network, коротко GAN), которые состоят из двух частей: генератора объектов и дискриминатора, который сравнивает созданный объект с обучающей выборкой и возвращает информацию о том, насколько он ей соответствует.

Beckham & Pal / arXiv 2017

Для обучения нейросети исследователи использовали сделанные NASA спутниковые снимки разрешением 21600×10800 пикселей, отображающие поле высот и текстурную карту поверхности Земли. Ученые разбили снимки на квадратные сегменты размером 512×512 и использовали их в качестве обучающей выборки, с помощью которой нейросеть научилась воссоздавать поле высот различных местностей, на которые затем автоматически наносила соответствующую текстуру.

Результаты работы нейросети по созданию поля высот и наложения на него текстуры местности. Beckham & Pal / arXiv

Несмотря на то, что работа нейросети далека от идеала (исследователи отмечают, что она не всегда накладывает правильную текстуру), авторы работы надеются, что такая технология в скором времени начнет широко применяться не только в компьютерных играх, но и в других направлениях, использующих трехмерную графику.

О том, как исследователи используют порождающие состязательные сети для манипуляций с изображениями, вы можете прочитать в нашей заметке.

Автор:Елизавета Ивтушок