Разработчики нового инструмента на основе искусственного интеллекта утверждают, что он обнаруживает изображения жестокого обращения с детьми с почти 99 процентной точностью. Инструмент под названием Safer разработан некоммерческой организацией Thorn, чтобы помочь предприятиям, не имеющим собственных систем фильтрации, обнаруживать и удалять такие изображения.

По данным организации Internet Watch Foundation в Великобритании, количество сообщений о жестоком обращении с детьми во время карантина COVID-19 увеличилось на 50 процентов. За 11 недель, начиная с 23 марта, на их горячую линию поступило 44 809 сообщений о найденных изображениях по сравнению с 29 698 в прошлом году. Многие из этих изображений принадлежат детям, которые проводили много времени в Интернете и были вынуждены публиковать свои изображения.

Энди Берроуз, глава отдела безопасности детей в Интернете в NSPCC, недавно сказал BBC: «Вред можно было бы уменьшить, если бы социальные сети разумнее вкладывали средства в технологии, инвестируя в более безопасные конструктивные особенности в условиях кризиса».

Safer — это один из инструментов, который помогает быстро пометить контент о жестоком обращении с детьми, чтобы уменьшить масштаб причиненного вреда. Сервисы обнаружения Safer включают в себя:

• Сопоставление хэшей изображений (Image Hash Matching): флагманский сервис, который генерирует криптографические и перцепционные хэши для изображений и сравнивает эти хэши с известными CSAM хэшами. На момент публикации база данных включает 5,9 млн хешей. Хеширование происходит в клиентской инфраструктуре для сохранения конфиденциальности пользователя.
• Классификатор CSAM изображений (CSAM Image Classifier): модель классификации машинного обучения, разработанная Thorn и использованная в Safer, которая возвращает прогноз того, является ли файл CSAM. Классификатор обучен на наборах данных общим объемом в сотни тысячи изображений, включающих в том числе порнографию, CSAM и различные облегченные изображения, и может помочь в выявлении потенциально нового и неизвестного CSAM.
• Сопоставление хэшей видео (Video Hash Matching): сервис, который генерирует криптографические и перцепционные хеши для сцен видео и сравнивает их с хешами, представляющими сцены предполагаемого CSAM. На момент публикации база данных включает более 650 тыс. хэшей подозрительных сцен CSAM.
• SaferList для обнаружения: услуга для клиентов Safer, позволяющая использовать данные сообщества Safer путем сопоставления с наборами хешей, предоставленными другими клиентами Safer, для расширения усилий по обнаружению. Клиенты могут настраивать, какие хеш-наборы они хотели бы включить.

Однако проблема не ограничивается пометкой содержимого. Документально подтверждено, что модераторам платформ социальных сетей часто требуется терапия или даже помощь в предотвращении суицида после того, как они изо дня в день подвергаются воздействию самого тревожного контента, размещенного в Интернете.

Thorn утверждает, что Safer создан с заботой о благополучии модераторов. С этой целью контент автоматически размывается (компания заявляет, что в настоящее время это работает только для изображений).

В Safer есть API-интерфейсы, доступные для разработчиков, которые «созданы для расширения общих знаний о контенте с жестоким обращением с детьми путем добавления хэшей, сканирования с использованием хэшей из других отраслей и отправка отзывов о ложных срабатываниях».

На данный момент одним из самых известных клиентов Thorn является Flickr. Используя Safer, Flickr обнаружил на своей платформе изображение жестокого обращения с детьми, которое после расследования правоохранительных органов привело к изъятиям 21 ребенка в возрасте от 18 месяцев до 14 лет и арестам преступников.

Safer в настоящее время доступен для любой компании, работающей в США. В следующем году после адаптации к требованиям национальной отчетности каждой страны Thorn планирует расширить свою деятельность и на другие страны.

Вы можете узнать больше об этом инструменте и о том, как начать с ним работу здесь.