Алгоритм, разработанный организацией OpenAI для создания псевдо-осмысленных текстов, научился генерировать настолько правдоподобные научные статьи, что ученые зачастую не способны отличить их от настоящих. Об этом свидетельствует публикация на ресурсе bioRxiv, появившаяся в конце декабря и вызвавшая среди ученых неоднозначную реакцию: кто-то бьет тревогу, кто-то считает, что проблема в другом.

Чатбот ChatGPT — программа, которая создает достоверные тексты по запросам пользователей. Это большая языковая модель, основанная на нейросетях, которая обучается, поглощая колоссальные объемы текстовой информации, созданной людьми. Инструмент был разработан калифорнийской компанией OpenAI, релиз состоялся 30 ноября прошлого года. Чатбот сейчас доступен для всех.

За прошедшие полтора месяца появление ChatGPT уже вызывало ряд вопросов в этичности его использования, поскольку тексты, сгенеренные нейросетью, бывает сложно отличить от написанных человеком. Ради эксперимента команда ученых из Северо-Западного университета Чикаго опубликовала на научном сайте реферат «научного исследования», сочиненный алгоритмом.

Для его создания исследователи попросили ChatGPT написать 50 медицинских рефератов на основе избранных статей, опубликованных в профильных журналах JAMA, The New England Journal of Medicine, The BMJ, The Lancet и Nature Medicine. Затем они прогнали сочинения чатбота через детектор плагиата и другие инструменты редактирования, а после попросили группу экспертов среди настоящих статей сфабрикованные.

Машинные средства обнаружения текстов, сгенеренных ИИ, заметили 66% рефератов, созданных чатботом. Почти такими же оказались результаты у людей: они правильно определили 68% поддельных рефератов и 86% настоящих, пишет Nature.

«Я очень обеспокоена, — заявила Сандра Уотчер, специалист по юридическим аспектам технологий из Оксфордского университета (Великобритания). — Если возникает ситуация, в которой ученые не способны отличить правду от лжи, мы теряем посредника, который необходим нам для объяснения сложных вопросов».

По ее мнению, если ученые не в состоянии отличить настоящее исследование от фейка, последствия могут быть ужасными. Из-за сфабрикованных данных команды исследователей могут впустую потратить время и ресурсы, а законодатели могут принять важные для общества решения на основании поддельных научных фактов.

Однако специалист по компьютерным технологиям из Принстона Арвинд Нараянан не согласен: «Маловероятно, чтобы какой-либо серьезный ученый использовал ChatGPT для написания рефератов».

Неважно, считает он, можно ли понять, что сгенеренный контент фейковый или нет. Главное, что ChatGPT не способен пока создать убедительный и точный текст. По его мнению, вместо того чтобы вводить какие-то меры, ограничивающие ИИ, научные ресурсы и учебные заведения должны пересмотреть свои правила по отношению к публикации статей и рефератов без разбора.

Хайп, вызванный появлением ChatGPT, заставил главу OpenAI Сэма Альтмана нарушить молчание и высказаться. По его словам, это очень ограниченная модель, и на нее нельзя полагаться в серьезных делах. До точности и правдоподобия ей еще далеко.