Люди, которые застали динозавров и пейджеры, могут помнить, что когда-то давно, диктуя сообщение девушке-оператору пейджинговой компании, можно было услышать в ответ «Это сообщение оскорбительно для получателя, отправлять его я не буду». И попробуй докажи, что это у вас с получателем такая внутренняя шутка. С тех пор способов доставить получателю оскорбительное сообщение стало намного больше, а способов превентивно это остановить не так уж и много. Предлагаем вспомнить наиболее любопытные технологические попытки сделать интернет чуть более добрым местом.

Сколтех против неуместности

Буквально в прошлом месяце Сколковский институт науки и технологий презентовал нейросеть, призванную находить «неуместные» текстовые сообщения. Потенциальные сферы применения — определение некорректного поведения чат-ботов в переписках с клиентами, а также модерация сообщений и комментариев в социальных сетях.

Разработчики особо подчеркивают, что система способна определять именно «неуместные» комментарии (не путать с «токсичными»). В качестве примера они приводят чат-бота, который вежливо рекомендует пользователю покончить с собой. Токсичности нет, но это явно неуместно.

Упрощенно нейросеть действует так: у системы есть список из 18 потенциально опасных тем. Она способна понять, если разговор начал относиться к одной из них, и в таком случае начинает внимательно анализировать сообщения. Среди зон потенциальной опасности — религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.

Авторы заявляют о точности системы в 89% случаев, хотя реальных кейсов ее использования пока нет. Но можно вспомнить один из предыдущих экспериментов Сколтеха. Тогда нейросеть написала около 14 тысяч сообщений в секциях комментариев под новостями в сфере IT. Главным результатом эксперимента тогда стало то, что многие пользователи посчитали комментарии уместными или даже смешными.

IT-университет Копенгагена против харрасмента

Исследователи университета в течение полугода оплачивали работу семерых максимально непохожих людей. Среди них были, например, дизайнер ПО, климатический активист, актриса и медицинский работник. Их задача была в следующем — они изучали тысячи сообщений в социальных сетях и выносили вердикт, являются ли они сексисткими или издевательскими.

Раз в неделю они собирались, чтобы обсудить сложные случаи. В общей сложности было проанализировано около 30 000 сообщений, 7 500 из которых были признаны оскорбительными. По словам исследователей, система на основе полученного и размеченного набора данных, может распознавать токсичное поведение в социальных сетях в 85% случаев. Реальными кейсами применения этой технологии исследователи пока не поделились.

Можно вспомнить инициативы многих социальных сетей по фильтрации потенциально оскорбительных комментариев и сообщений. Эти функции в том или ином виде запускали ВКонтакте, Twitter, Instagram, Tinder, TikTok и другие. Каких-то заметных успехов в борьбе с интернет-токсичностью каждая из этих инициатив не добилась, и все они были тихо свернуты, без каких-либо отчетов об успехах.

Facebook против издевательских мемов

В 2020 году Facebook выложил в открытый доступ набор данных, который должен был помочь исследователям ИИ в автоматическом режиме распознавать оскорбительные изображения и мемы. По задумке компании, датасет должен был облегчить решение сложной задачи — распознавания ненависти и зла в изображениях, которые несколько завуалированы.

Примеры таких мемов

В декабре 2020 года Facebook заявил, что считает результаты работы алгоритма достаточно хорошими, и обещал продолжить его развитие и использование в рамках социальной сети и дальше.

Jigsaw против всего мирового интернет-зла

Jigsaw — компания, принадлежащая Google, и в соответствии с информацией на сайте она «разрабатывает технологии, которые помогут человечеству справиться с глобальными проблемами, от цензуры и домогательств в интернете, до цифровых атак и вооруженного экстремизма».

Для уменьшения зла в мире Jigsaw предлагает решение Perspective. С помощью машинного обучения оно в реальном времени оценивает комментарии на степень их токсичности. Разработчики особо подчеркивают, что решение способно сделать это быстрее и точнее любого человека-модератора.

На сайте проекта в специальной форме можно проверить степень токсичности тех или иных слов, включая русские. Сразу отвечаем на два важных вопроса. Главное русское слово из трех букв состоит из зла ровно на 5.98 %, а популярное грубое приглашение отправиться в пешее путешествие — на 93.39 %.

Jigsaw не останавливает работу по улучшению своих алгоритмов и регулярно проводит конкурс среди разработчиков Jigsaw Multilingual Toxic Comment Classification. От его участников требуется улучшить алгоритм по поиску негативных и токсичных комментариев.

Perspective пользуются такие компании, как Reddit, The New York Times, Disqus и многие другие. Практически все они заявляют, что использование технологии помогло им значительно сократить количество токсичных комментариев. Так, газета Southeast Missourian заявляет, что технология уменьшила количество негативных комментариев на сайте на 96 %.

А The New York Times смогла увеличить количество статей, открытых для комментирования, до 80 %. До использования этой технологии на сайте для комментариев было открыто 10 % материалов. А директор по технологиям в Reddit Крис Слоу заявляет, что Perspective — это ценный инструмент для повышения уровня безопасности на ресурсе.

Одна из главных проблем всех этих инициатив — отсутствие единого стандарта для определения нежелательных сообщений. Варьируется и количество категорий, оно может составлять как четыре категории, так и 23. Кроме того, большинство таких исследований проводится на английском языке.

По данным некоммерческой организации Plan от 2020 года, более половины опрошенных женщин в 22 странах заявили, что подвергались преследованиям или насилию в интернете. В результате каждая пятая из них сократила его использование или вовсе прекратила «серфить» в сети. Чаще всего нападения происходят на Facebook, за которым следуют Instagram, WhatsApp и Twitter.

Таким образом, не сегодняшний день проблема «злого интернета» все еще актуальна и далека от решения.