Полиция округа Балтимор в США арестовала бывшего спортивного директора средней школы Пайксвилля Дажона Дэриена и обвинила его в использовании искусственного интеллекта для выдачи себя за директора Эрика Эйсверта. Дэриен использовал синтез голоса на базе искусственного интеллекта, чтобы заставить общественность поверить в то, что директор допускал расистские и антисемитские высказывания. И у него это почти получилось.

Фейковая запись, опубликованная в социальных сетях, вызвала бурю негодования у студентов и преподавателей, а директор подвергся преследованиям и угрозам. Это не первый случай, когда программы искусственного интеллекта для клонирования голоса используются в мошеннических целях.

Аудиоролик, опубликованный в популярном аккаунте в социальной сети, содержал оскорбительные высказывания о темнокожих детях и евреях. В записи также упоминались сотрудники школы, включая Дэриена, которые не должны были быть наняты или должны быть уволены. Комментарии вызвали бурное негодование у студентов, преподавателей и всего сообщества. Многие поверили, что директор действительно сделал эти заявления.

Полиция округа Балтимор сообщает, что Дэриен получил доступ к школьным сетям для поиска и использования инструментов искусственного интеллекта, способных имитировать голос. Полиция также связала Дэриена с учетной записью электронной почты, которая использовалась для распространения фейковых записей. Неясно, какую именно голосовую платформу искусственного интеллекта предположительно использовал Дэриен. Эксперты сообщили полиции, что запись имеет «плоский тон, необычно чистые фоновые звуки и отсутствие последовательных звуков дыхания или пауз».

Технология клонирования голоса может генерировать реалистичную речь после обучения на миллионах человеческих голосов, а затем настраиваться на определенный голос в предоставленном образце. Директор лаборатории медиа-криминалистики в Университете Буффало Сивэй Лю сказал, что фальсифицированный клип с голосом Эйсверта был создан с помощью сервиса синтеза голоса вроде ElevenLabs. ElevenLabs позволяет пользователям загружать образцы голосов людей для клонирования с помощью синтеза текста в речь, хотя их условия запрещают клонирование голоса без разрешения человека.

Инцидент привел к тому, что Эйсверт отсутствовал в школе с начала расследования. Он отрицает, что делал эти комментарии, заявив, что они не совпадают с его взглядами.

«Я не делал этого заявления, и эти мысли не соответствуют моим убеждениям ни как педагога, ни как человека», — сказал Эйсверт в письменном заявлении.

Сообщалось, что директор школы и его семья подвергались преследованиям и угрозам, что потребовало присутствия полиции в их доме.

Полиция сообщила, что Дэриен сделал запись, чтобы отомстить Эйсверту, который в то время проводил расследование потенциально нецелевого использования школьных средств. Он был освобожден после внесения залога, и ему предъявлены обвинения, включая кражу (за растрату школьных средств), нарушение работы школы и преследование.

Это не первый случай, когда программы искусственного интеллекта для клонирования голоса создают проблемы. Телефонные мошенники используют их для имитации голоса близкого человека жертвы, чтобы обмануть и заставить отдать деньги. Робозвонки с клонированными голосами известных политиков, таких как Джо Байден, применялись во время избирательных кампаний. В марте OpenAI решила не выпускать в публичный доступ свою платформу искусственного интеллекта для преобразования текста в голос Voice Engine. Сервис, которому для клонирования чьего-то голоса требуется всего лишь 15-секудный аудиоклип, доступен только ограниченному числу исследователей.