Созданный специалистами из Южной Кореи MarioNETte выводит технологию на новый уровень. Удалось преодолеть главное ограничение: ненатуральность преобразования в случае, когда данные оригинала и цели сильно различаются. Нейросети для работы достаточно одной неразмеченной фотографии и любой веб-камеры.

Исследователи из Сеула создали прорывной дипфейк-алгоритм: он натурально накладывает на лицо мимику другого человека, располагая всего одной неразмеченной фотографией оригинала, и обходится для этого изображением с обычной веб-камеры. Препринт работы, итогом которой стало создание MarioNETte, опубликован на сайте ArXiv.

Как отмечает VentureBeat, как раз такого алгоритма опасались алармисты: теперь манипулировать изображением любого политика, знаменитости или бизнесмена может буквально любой желающий.

Напомним, цель дипфейка — анимировать лицо-оригинал (драйвер), наложив на него мимику человека перед камерой (цель). MarioNETte улучшает технологию «вклеивания» лиц буквально по всем параметрам, утверждают создатели. Например, раньше для обучения модели нужны были либо технологии захвата движения для лица-цели, либо хотя бы несколько минут съемки с разных ракурсов. Альтернатива — размеченное изображение лица-драйвера.

MarioNETte обходится без этого: дайте нейросети фотографию, начните кривляться перед веб-камерой — и дипфейк готов.

При этом алгоритм успешно справляется с общей бедой конкурентов, вполне правдоподобно преобразуя даже сильно отличающиеся изображения. MarioNETte состоит из трех функциональных частей: распознаватель образа, алгоритм привязки и алгоритм преобразования.

Создатели утверждают, что в исследовании с участием 100 волонтеров почти все они назвали созданные MarioNETte образы более правдоподобными и с менее заметными артефактами.