Детектор дипфейков, который обнаруживает любые изменения в исходном видео, впервые удалось обмануть: это продемонстрировали программисты из Калифорнии. Программисты показали, что детектор можно обмануть, если вставлять входные данные, их еще называют примерами состязательности, в каждый видеокадр.

Состязательные примеры — это слегка измененные входные данные, которые заставляют системы искусственного интеллекта ошибаться. Кроме того, команда показала, что способ работает даже после сжатия видео.

Напомним, что в deepfakes, или дипфейках лицо любого субъекта можно изменить на чужое так, чтобы это смотрелось правдоподобно. Так можно создать реалистичные кадры событий, которые на самом деле никогда не происходили.

Типичные детекторы deepfake фокусируются на лицах в видео: они сначала отслеживают их, а затем передают отдельно фрагмент лица в нейронную сеть, которая определяет, является ли видео реальным или поддельным. Например, моргание глаз плохо воспроизводится в deepfakes, поэтому детекторы фокусируются на движениях глаз. Современные детекторы полагаются на модели машинного обучения для идентификации поддельных видео.

Авторы работы протестировали свою обработку видео в двух сценариях: первый, где злоумышленники имеют полный доступ к модели детектора, способу извлечения лица из видео, архитектуре, параметрам и модели; и другой, где злоумышленники могут только запросить модель машинного обучения, чтобы выяснить вероятность того, каким образом будет классифицирован кадр: как реальный или поддельный.

В первом случае вероятность обмануть детектор составила 99% для несжатых видео, а для сжатых 84,96%. Во втором случае детектор получилось обмануть в 86,43% для несжатого и 78,33% для сжатого видео. Это первая работа, которая демонстрирует успешные атаки на современные детекторы deepfake.

Программисты из Калифорнии отказались выпустить свой код в открытый доступ, чтобы он не был использован для дезинформации.