Мы уже привыкли, что социальные сети влияют на выборы и политику в странах Запада. Но они могут стоить жизни людям, и решения проблемы пока нет.

В марте 2019 года стрельба в двух мечетях Новой Зеландии унесла жизни 49 человек. Организаторы расправы транслировали ее в социальных сетях, чтобы привлечь внимание как можно большего числа людей. Среди зрителей по ту сторону экрана был и Патрик Крузиус, который под впечатлением от увиденного устроил массовый расстрел в универмаге Walmart в Эль-пасо 4 августа, убив 21 человек и ранив еще 26. Следователи утверждают, что подозреваемый за несколько месяцев до трагедии разместил информацию о своих намерениях на одном из экстремистских ресурсов в сети, где выразил в числе прочего поддержку боевика из Новой Зеландии. По итогам расследования причин катастрофы Франция и Новая Зеландия обратились к другим странам и технологическим компаниям с призывом найти технологии, которые позволят не допустить распространение подобного контента. Инициативу поддержали 17 стран, ЕС и 8 крупнейших технологических компаний, включая Google и Facebook.

В апреле 2019 года серия взрывов в Шри-Ланке унесла жизни более 200 человек. Власти утверждают, что предупреждали компанию Facebook о возможных последствиях разжигания темы насилия в соцсети. Понимания достичь не удалось и в результате человеческих жертв было принято решение заблокировать доступ к ряду социальных сетей и мессенджеров, включая Facebook и WhatsApp. По мнению властей страны, распространение дезинформации о событиях могли вызвать эскалацию насилия в стране.

Блокировки социальных сетей и мессенджеров во время вспышек насилия происходят все чаще. Например, летом 2018 года вирусное распространение слухов о похищении детей в WhatsApp спровоцировали серию столкновений в Индии. А в феврале 2019 года дезинформация, распространившаяся в Facebook, Instagram и WhatsApp, усилила напряженность в отношениях между Индией и Пакистаном. Сейчас официальные лица в Индии опасаются, что распространение фальшивые новостей через Facebook может накалить ситуацию во время ближайших выборов. Онлайн порождает насилие и в более развитых странах: в Мексике, Соединенных Штатах и Германии.

С одной стороны, когда правительства блокируют соцсети, это воспринимается как попытка ограничить свободу слова. Но с другой, вышеупомянутые случаи показывают, что отключение соцсетей — это единственный инструмент стран по предотвращению насилия и человеческих жертв. Как соцсети превратились в агрессивную среду и есть ли способ остановить насилие, не отключая интернет?

От этнических чисток до терактов

Исследования ООН показали, что Facebook сыграл «определяющую роль» в росте анти-мусульманских настроений в Мьянме, соседней с Шри-Ланкой. Распространение слухов в соцсетях привело к жертвами среди населения: антимусульманская истерия в соцсетях Мьянмы превратилась в полномасштабную этническую чистку. Правительственные вооруженные силы использовали Facebook в течение нескольких лет для пропаганды против этнической группы рохинджа в стране. Жертвами в реальном мире стали по меньшей мере 6700 человек, согласно отчету организации «Врачи без границ». В ноябре 2018 года Facebook опубликовал результаты независимой оценки того, что происходило в Мьянме, и признал, что компания не сделала достаточно для того, чтобы предотвратить использование своей платформы для разжигания разногласий и подстрекательства к насилию в реальной жизни.

Еще за год до террористических атак в Шри-Ланке, ложные слухи в соцсетях спровоцировали выступление буддистов против мусульман: роковую роль сыграла также новостная лента Facebook. При этом правительство страны ценит соцсети за помощь в установлении демократии после многих лет гражданской войны, поэтому их критику за разжигание расовой ненависти можно считать объективной. Представители Facebook не отвечали на критику правительства, пока в стране не был заблокирован доступ к их ресурсу. Только после этого американская компания пообещала нанять больше модераторов и улучшить взаимодействие с местными властями.

Алгоритмы смерти

Подавляющее большинство публикующих и распространяющих экстремальный контент в сети, не совершают преступления на почве ненависти в реальной жизни. Но те преступления на почве ненависти, которые происходят, зачастую связаны с деятельностью онлайн-подстрекателей. Математическая модель социального поведения, рассчитанная российскими учеными, показывает, что существует переломный момент, после которого часть людей становится настолько одержимой искаженной версией реальности, создаваемой Интернетом, что начинает действовать.

Исследование Уорикского университета Великобритании выявило корреляцию между атаками на беженцев в Германии в период с 2015 по 2017 год с районами с высокой популярности Facebook и распространением крайне правой популистской партией «Альтернатива для Германии» (AfD) постов против беженцев. Из 3335 нападений, 3171 из них произошли в муниципалитетах с высокой активностью онлайн-угроз. В немецком Хемнице ложные слухи о мигрантах-убийцах в твитере и Facebook привели к массовым демонстрациям, собравшим 6000 участников в августе 2018 года.

Получить доступ к технологиям и платформам, которые обеспечивают вирусность контента, не так сложно. Исследование Массачусетского технологического института (MIT) более 126 000 постов, написанных около 3 миллионами человек показало, что ложь распространяется в социальных медиа значительно быстрее и обширнее, чем истина во всех категориях информации. Влияние соцсетей усиливают так называемые идеологические пузыри: чтобы удерживать внимание людей на своих сайтах как можно дольше, такие компании, как Facebook и YouTube используют алгоритмы, рекомендующие потенциально наиболее интересные пользователю публикации. Если система фиксирует популярность того или иного видео, то она распространяет его больше, а в результате контент получает больше просмотров, а YouTube — больше денег за счет того, что пользователи проводят на ресурсе больше времени и просматривают больше рекламы.

Пользователи в идеологических пузырях видят версию мира, в которой их взгляды никогда не оспариваются, а противоположные мнения не встречаются. Зритель YouTube попадает в условия, рассмотренные в модели «информационного противоборства» российских социологов: пользователь не сталкивается с раздражителем в виде альтернативных точек зрения. Это создает крайне сплоченный и преданный круг приверженцев, готовых подражать и более радикальной повестке в случае ее наступления. Подобные пузыри приближают «переломные моменты», в которые насилие выплескивается наружу.

Инженер Гийом Часло, три года работавший над рекомендательными системами YouTube, в 2016 году создал веб-сайт Algotransparency, на котором он пытается разгадать алгоритмы видеохостинга: как один контент продвигается по сравнению с другими. За день до стрельбы в Питтсбургской синагоге в 2018 году Algotransparency зафиксировал, что алгоритм YouTube распространяет видео конспиролога Дэвида Айка, в котором тот обвиняет миллиардера еврейского происхождения, мецената и любимую цель ультра-правых Джорджа Сороса в «манипулировании политическими событиями в мире». У видео было менее 1000 просмотров, когда алгоритм начал его продвигать, сейчас у него более 70000. Это не доказывает причинно следственную связь между роликом и стрельбой, но дает понимание, как можно находить провокационные видео и бороться с их распространением.

Насилие онлайн

Другой проблемой связанной с насилием и сетевыми медиа, является бесконтрольное распространение видео с массовыми расправами и суицидами. Четыре года назад видео, самостоятельно снятое убийцей двух репортеров в Вирджинии распространялось в Facebook и Twitter, три года назад вирусными стали кадры массовой стрельбы в Далласе. Платформы социальных сетей могут обеспечить глобальную аудиторию людям, которые хотят нанести себе или другим тяжкий вред. Вероятно, это не то, на что рассчитывал Facebook, когда презентовал публике Facebook Live несколько лет назад.

Из-за того, что потоковое видео — относительно новый инструмент в Интернете, в который продолжают инвестировать Facebook, Twitter, Amazon и другие корпорации, неясно, что делать в случае трансляции терактов в прямом эфире. Даже если Facebook быстро блокирует жестокий контент, о подобных инцидентах молниеносно становятся известно, что побуждает людей искать оригинальные видео через Google и другие поисковые системы.

Вышеупомянутая атака в Новой Зеландии, жертвами которой стали 50 человек, транслировалась в прямом эфире на Facebook, повторно размещалась на YouTube и обсуждалась на Reddit до того, как какая-либо из этих платформ отреагировала. Множество пользователей успевают его разместить в своих аккаунтах, что требует повторного аудита не только автоматическими средствами, но и с привлечением модераторов, чтобы удалить все копии. Например, спустя почти два месяца после трагедии в Крайстчерче CNN обнаружило на многих сайтах все еще доступны копии трансляции массовой расправы.

Спасение утопающих

В последние годы отключение Интернета становится все более распространенным явлением во всем мире, особенно в Азии и Африке, после акций протеста или другой антиправительственной деятельности.

Однако эксперты по интернет-политике сомневаются, что блокировки мешают террористам в исполнении их замыслов. Исследователь Стэнфордского университета Ян Риджак обнаружил, что блокирование социальных сетей и веб-сайтов в Индии сопровождались эскалацией насилия… Блокировки способствуют всплеску поддельных новостей и слухов по альтернативным каналам, в отсутствии быстрых массовых интернет-коммуникаций их сложнее опровергнуть.

В любом случае запреты эффективны лишь в некоторой степени, потому что пользователи могут использовать приложения, известные как VPN или виртуальные частные сети, чтобы обойти блокировку или мессенджеры, связывающиеся с окружающими устройствами по Wi-Fi, если отключен Интернет.

В марте индийская парламентская комиссия попросила главу глобальной политики Facebook Джоэла Каплана усилить контроль над WhatsApp и Instagram, требуя от компаний проверять сообщения пользователей, чтобы убедиться, что они не содержат ничего незаконного. Такой подход неоднозначен в силу двух причин: он подводит такие компании, как WhatsApp, которые используют сквозное шифрование, к вопросу кардинального изменения своих платформ, а, с другой стороны, вызывает опасения по поводу конфиденциальности и излишнего государственного контроля.

Ручной контроль

В Китае борьбу с нежелательным контентом в социальных сетях с сотнями миллионов пользователей ведет вполне реальная армия цензоров. Исследователи из Гарвардского университета оценили их количество в беспрецедентные десятки тысяч участников, включая правительственных блогеров и так называемую Интернет-полицию, занимающуюся фильтрацией контента сетевых ресурсов. Благодаря быстро развивающимся китайским приложениям влияние цензоров распространяется далеко за границы Поднебесной: основатель Facebook Марк Цукерберг обвинил социальную сеть TikTok в блокировке контента, связанного с протестами в Гонгконге, даже в США.

В случае если опасный контент находится за пределами Поднебесной в ход идет Великая пушка, которая замедляет работу неугодных ресурсов. Например, по мнению Павла Дурова правительство Китая провело DDoS-атаку, чтобы замедлить работу Telegram 13 июня, когда сотни тысяч граждан Гонконга окружили здание правительства, протестуя против законопроекта, который позволяет экстрадировать людей для суда в материковый Китай.

Но даже такая мощная система и армия модераторов не в силах вручную просмотреть каждый загруженный файл в разумные сроки, а рост потокового вещания приносит с собой новые сложности распознавания жестокого контента, так как видео может быть показано до того, как цензор узнает, что оно транслировалось.

Автоматизированные технологии далеки от совершенства и предоставляют единственную возможность помечать и предотвращать повторное размещение в Сети только наиболее вопиющего контента. По статистике YouTube, лишь 73% автоматически помеченных роликов удаляются до того, как их увидит хотя бы один человек.

В течение многих лет и Facebook, и Google разрабатывали и внедряли автоматизированные инструменты, которые могут обнаруживать и удалять фотографии, видео и текст, которые нарушают их политику. Например, для обнаружения детской порнографии Facebook использует PhotoDNA производства Microsoft. Google разработал собственную версию этого ПО с открытым исходным кодом. Эти компании также инвестировали в технологии для выявления экстремистских сообщений, объединившись в группу под названием «Глобальный Интернет-форум по борьбе с терроризмом» для обмена данными об известном террористическом контенте. Для обнаруженного противоправного контента генерируются цифровые подписи, которые позволяют распознать его при повторной загрузке (и запретить ее).

Но автоматизированная модерация становится значительно сложнее, если речь идет не о фото и видео, а о потоковом видео. Как написал генеральный советник Google Кент Уокер в своем блоге в 2017 году, «машины могут помочь идентифицировать проблемные видеоролики, но человеческий фактор все еще играет решающую роль в нюансах принятия решения о границе между пропагандой насилия и религиозными высказываниями». Технологические корпорации еще не смогли создать эффективный ИИ для упреждающей блокировки подобного контента, хотя это самая богатая индустрия в мире. Поэтому Facebook и YouTube имеют команды цензоров, которые рассматривают видео по всему миру, и при этом все больше сталкиваются с проблемой объема данных. Возможно, и YouTube, и Facebook стали слишком большими, чтобы их можно было модерировать.

Похоже, Марк Цукерберг и сам не уверен в возможностях автоматизированных систем: он готов передать государству контроль над проблемными активами, включая «убийственный» контент и политическую рекламу.

«До недавнего времени интернет почти во всех странах за пределами Китая определялся американскими платформами, в которых сильны ценности свободы слова. Нет гарантии, что эти ценности победят» — заявил миллиардер в своем выступлении в университете Джорджтауна.

Но есть ли гарантии, что в случае передачи контроля над контентом правительству какой-либо из стран, мы не получим цензуру Глобальной сети по китайскому сценарию? Это такой интернет мы хотим, Марк?

Автор: Никита Цаплин