Модели искусственного интеллекта, разработанные для точной имитации голоса человека, облегчают злоумышленникам возможность выманивать у уязвимых людей тысячи долларов. За 2022 год мошенники смогли таким образом обмануть доверчивых граждан на $11 млн только в США, прикидываясь, как правило, их близкими родственниками.

Между тем многие компании продолжают активно выпускать ИИ-продукты, способные точно имитировать голос по совершенно небольшому набору данных. Вопрос контроля таких технологий становится все более острым.

По данным Федеральной торговой комиссии, мошенники, которые выдают себя за родственников жертв, очень распространены в США. Это был самый частый вид мошенничества, о котором сообщалось в 2022 году. Из 36 000 сообщений более 5 000 жертв были обмануты на 11 миллионов долларов по телефону. Поскольку злоумышленники могут находиться в любой точке мира, властям сложно пресечь неправомерные действия и обратить вспять тревожную тенденцию.

Некоторым программным средствам для создания голоса с помощью искусственного интеллекта требуется всего несколько звуковых предложений, чтобы убедительно воспроизвести речь говорящего с необходимыми эмоциями. Жертвам мошенничества, а это часто пожилые люди, становится все труднее определить, когда голос подделан. Например, одна пара отправила 15 000 долларов через биткойн-терминал мошеннику, полагая, что они разговаривали со своим сыном. Сгенерированный ИИ голос сказал, что ему нужны деньги на судебные издержки после того, как он попал в автомобильную аварию, в которой погиб дипломат США.

Вероятно, лучшая защита — повышение осведомленности о новом типе мошенничества, основанном на голосовых симуляторах. К любым просьбам о наличных рекомендуется относиться скептически. Перед отправкой средств лучше попробовать связаться с человеком, который якобы просит о помощи, другими способами, кроме голосового звонка.

Способность легко создавать убедительные голосовые симуляции уже вызывала скандалы. Например, участники 4chan озвучивали знаменитостей с расистскими, оскорбительными или насильственными заявлениями. В тот момент стало ясно, что компаниям необходимо задуматься о дополнительных мерах защиты для предотвращения неправомерного использования технологии. В ином случае они рискуют быть привлеченными к ответственности за причинение ущерба, например, репутационный вред.

Суды еще не решили, будут ли компании нести ответственность за ущерб, причиненный дипфейковой голосовой технологией или любой другой технологией искусственного интеллекта. Но на суды и регулирующие органы может оказываться давление с целью контролировать рынок ИИ. Многие компании продолжают выпускать ИИ-продукты, не полностью осознавая связанные с этим риски. Совсем недавно Microsoft представила новую функцию в тестовой версии Bing AI, которую можно использовать для имитации голоса знаменитостей. Однако то, что могут произносить эти голоса, ограничено небольшим числом тем. Видимо, так Microsoft, пытается избежать скандалов.