Меня зовут Александр Паркин, я руководитель исследовательских проектов в Vision Labs. Сегодня хочу рассказать, какие бывают дипфейки лиц и как их детектировать. Фальшивых лиц становится всё больше, и они выглядят всё убедительнее, поэтому без надежных инструментов для их обнаружения сейчас никуда. О том, как определить, что перед вами не настоящий человек и том, как предотвратить манипуляции с вашими фотографиями (да, так тоже можно) — под катом.

Что такое дипфейки и какими они бывают?

И термин, и его реализация впервые появились на Reddit в 2017 году: один из пользователей тогда сделал несколько фейковых видео со знаменитостями.

Слово «дипфейк» происходит от двух терминов: deep learning, глубокий метод машинного обучения на нейросетях, и fake — подделка. Изначально термин относили только к замене лица человека. Постепенно это понятие расширилось и на другие категории, включая аудио, видео, текст и так далее.

Дипфейки отличаются от других подделок. Если мошенник попытается оплатить покупку, подняв перед камерой платёжного терминала изображение своей жертвы, это не дипфейк. Методы защиты от цифровых и физических подделок тоже отличаются.

В чем разница? Liveness — технология, которая помогает системе отличить живого человека. Она определяет физическую (не цифровую!) маску, даже если она из силикона или латекса, фото, запись голоса или видео.

Алгоритм работает в связке с системой распознавания лиц, но главное отличие в том, что он отвечает не на вопрос «Тот ли это человек?», а на вопрос «Живой ли это человек?».

Liveness — это очень интересная и обширная тема. О ней мы поговорим в другой раз.

Сейчас давайте погрузимся в мир дипфейков и посмотрим на их самые распространенные типы.