Компании Google и Jigsaw собрали датасет, состоящий из более трех тысяч видеороликов, созданных алгоритмами подмены лиц. Созданные ролики (модифицированные и оригинальные) исследователи добавили в другой большой проект, посвященный подмене лиц на видео, — FaceForensics++.

Описание датасета опубликовано на GitHub, а сами данные доступны сторонним исследователям только после одобрения.

В последние несколько лет в области использования машинного обучения для работы с изображениями произошел большой прогресс. Однако вместе с алгоритмами, способными, к примеру, распознавать рак кожи, разработчики создали и мощные алгоритмы для создания поддельных видео. Массовую известность они получили в 2017 году, когда пользователь Reddit с ником deepfakes (из-за этого такие ролики стали называть дипфейками) опубликовал порнографические ролики, в которых оригинальные лица были заменены на лица популярных актрис, в том числе Галь Гадот и Скарлетт Йоханссон. Вскоре после этого крупные интернет-платформы запретили публиковать такой контент, однако разработчики совершенствуют алгоритмы для создания дипфейков, поэтому их распознавание становится все труднее.

Google и Jigsaw (обе компании принадлежат холдингу Alphabet) решили помочь в совершенствовании алгоритмов для распознавания дипфейков, дополнив уже существующий проект FaceForensics++, в рамках которого европейские разработчики создали датасет, а также автоматизированный бенчмарк, состоящий из нескольких алгоритмов для подмены лиц и определяющий их эффективность с помощью различных методов.

Новый датасет Deep Fake Detection Dataset основан на 363 роликах, которые разработчики сняли специально для проекта. На основе этих роликов они создали 3068 новых, в которых лица добровольцев заменены на другие: для создания роликов использовали публично доступные алгоритмы Deepfakes, Face2Face, FaceSwap и NeuralTextures. Разработчики отмечают, что в будущем будут дополнять датасет.

Недавно к борьбе с дипфейками присоединились другие крупные IT-компании: Facebook и Microsoft. Они объявили о создании конкурса для разработчиков алгоритмов для определения подмены лиц на видео, а также пообещали создать большой открытый датасет для этой задачи. Как и Google, компании не будут использовать данные пользователей социальных сетей или YouTube, а наймут актеров-добровольцев.

Автор: Григорий Копиев