New York Times испытала на людях новейшие алгоритмы текстовой генерации. Они стремительно улучшаются: все труднее отличить текст, написанный человеком, от составленного машиной. Максимум через пару лет это будет совершенное оружие массового поражения, инструментов противодействия которому пока нет.

За последнее время появилось два впечатляющих алгоритма, синтезирующих правдоподобные тексты в различных жанрах. Один из них — GPT-2 — создали в OpenAI и сразу засекретили, настолько опасным казалось попадание его «не в те руки». Второй вариант представили исследователи из Института Пола Аллена в Сиэтле. И здесь, напротив, разработчики намерены раскрыть в ближайшее время все детали.

New York Times разобралась в прогрессе технологии и ее опасностях. Теперь журналисты уверены , что через пару лет интернет накроет волна фальшивых сообщений, в сравнении с которой сегодняшние усилия любой «фабрики троллей» с людьми покажутся детскими шалостями.

Самая интересная часть статьи — примеры сгенерированных GPT-2 и алгоритмом Института Аллена текстов. NYT начинает с того, что напоминает о кампании очернения работавших в Сирии волонтеров из отряда «Белые каски». Тысячи однотипных сообщений связали с попытками российских «троллей» повлиять на противостояние в Сирии и имидж России, которую «Белые каски» часто обвиняли в повлекших гибель гражданского населения авиаударах.

Люди просто копировали тексты, и это разоблачило авторов. Однако ИИ может генерировать неотличимые от настоящих и притом уникальные сообщения тысячами. По крайней мере — в формате твита.

«Белые каски предположительно вовлечены в торговлю органами, похищения детей и постановку событий в Сирии». «Белые каски тайно засняли казнь мужчины и его трехлетней дочки в Алеппо, Сирия». Одно из этих предложений написал человек, другое — создал алгоритм.

Далее NYT продолжает исследование на более крупных формах — в формате поста в соцсети, который ИИ разворачивает из различных вводных. Журналисты выбрали, кого надо осудить в заметке — республиканцев или демократов — а также за что: засилье иммигрантов либо рост стоимости здравоохранения. Результат впечатляет: например, в одном из сообщений даже есть «ссылка» на поддельный твит президента Дональда Трампа. Впрочем, NYT отмечает, что на большой выборке видны и недостатки ИИ: иногда в статьях нет логики, а некоторые результаты вовсе не имеют смысла.

Тем не менее, журналисты убеждены: в ближайшие годы модели текстовой генерации пройдут тот же путь, что проделали состязательные генеративные нейросети в создании правдоподобных фото и видео. И сгенерированные тексты рано или поздно станут неотличимы от написанных человеком.

А значит, нас буквально накроет волна фейковых текстов, новостей и мнений, если не предпринять серьезных усилий, чтобы защитить пока ничего не подозревающих пользователей от нового вида оружия. В OpenAI посчитали необходимым закрыть свой алгоритм. В Институте Аллена, напротив, убеждены, что если алгоритм не раскрыть, подобрать ключи к распознаванию фальшивых ИИ-новостей будет невозможно.

Этого же мнения придерживается и глава исследующей фейки ИИ-команды Facebook Манохар Палури: «Если у вас на руках генеративная модель, значит, есть и способы противостоять ей».

ИИ-генераторы правдоподобных текстов и видео открывают дорогу не только к появлению небывалых объемов дезинформации. Оптимисты считают, что с расцветом ИИ появится, например, новый вид искусства — истории, рассказанные конкретному человеку и никогда не повторяющиеся.