Автор: Олег Сивченко. Полагаю, прямо на наших глазах разворачивается переход между второй и третьей стадиями принятия неизбежного (гнев и торг) по поводу повсеместно установленных умных камер, чья функция заключается в устранении последних следов приватности в общественных местах. Распознавание лиц и биометрия — лишь частные случаи более обширных разработок в области машинного зрения, но именно эти аспекты воспринимаются максимально болезненно, поскольку человека угнетает повсеместная слежка.

Я заинтересовался состязательными нейронными сетями, когда глубокой осенью 2018 года прочел статью «Do neural nets dream of electric sheep? («Снятся ли нейронным сетям электроовцы»)? Автор проанализировала несколько примеров, где нейронка изрядно озадачивается, обнаружив овец в необычном сеттинге. Особенно интересен следующий пример:

Как видите, и NeuralTalk2, и Azure «мыслят стереотипно»: в датасетах, на которых они обучались, овцы не лазали по деревьям, поэтому одна сеть увидела здесь «стаю крупных белых птиц», а другая «стадо жирафов». В другом примереhttps://gradientscience.org/intro_adversarial/ подобных атак на алгоритмы компьютерного зрения (такие примеры называются «состязательными») обнаруживается, что даже небольшой поворот изображения сбивает нейронную сеть с толку:

Револьвер превращается в мышеловку, лодочная станция – в гильотину, а сервант с фарфором – в прожектор. Причем, в примере с сервантом мне даже удается посмотреть на эту ошибку «глазами нейронки», но остальные ее ошибки понять не получается.

Попытки эксплуатации аналогичных уязвимостей при распознавании лиц активизировались в 2019 году после манифестаций в Гонконге, когда стало понятно, что маскировка эффективнее брутфорса (протестующие пытались громить умные камеры). Последовавшая вскоре эпидемия COVID-19 и масочный режим вновь подстегнули такие исследования и, в частности, показали, что маска – плохая защита от нейронки. Лицо человека имеет характерную форму (скулы) и симметрию, кроме того, легко выявляется по симметричным и при этом блестящим глазам. На Хабре публиковался перевод интересного исследования о том, легко ли обмануть алгоритм распознавания лиц при помощи медицинской маски (спойлер: нет).

Обнаружение и распознавание лиц

Для начала разграничим две эти задачи – на самом деле, они сильно отличаются по сложности. Для обнаружения лица (1) достаточно, чтобы программа выявляла на картинке овал, а на нем – два глаза. Но для того, чтобы убедиться, что это именно человеческое лицо, а тем более распознать его, требуется гораздо более скрупулезный анализ характерных точек. Далее коротко расскажу о градиентной маскировочной маске, описанной в статье Брюса Макдональда.