Два биолога из Израиля сгенерировали научную статью менее чем за час с помощью ChatGPT. Текст вышел легко читаемым, остроумным и соответствовал требованиям к структуре академической статьи. Правда, как пожаловались авторы, прежде чем они смогли добиться такого результата, им пришлось преодолеть много трудностей. А легкость применения этого инструмента и его минусы заставляют тревожиться о будущем науки.

Целью эксперимента было изучение возможностей ChatGPT в качестве напарника в написании научных статей. По мнению ученых, в академическом сообществе необходимо начать обсуждение преимуществ и недостатков моделей ИИ с тем, чтобы выработать наиболее безопасный и простой способ использования этой технологии на благо науки.

Рой Кишони и Тал Ифарган из Института Технион в Хайфе попросили ChatGPT написать код, который можно использовать для поиска закономерностей в данных. С первой попытки чатбот сгенерировал не пригодный к работе код, полный ошибок. Но когда ученые провели работу над ошибками, машина выдала им то, что они и хотели, пишет Nature.

Получив более структурированные данные, Кишони и Ифарган попросили ChatGPT помочь с исследованием. Бот посоветовал им изучить, как физическая активность и диета воздействуют на риск диабета. Сгенерировав больше кода, бот показал результаты: потребление фруктов и овощей плюс физическая активность коррелируют с меньшим риском диабета. Затем ChatGPT свел ключевые выводы в таблицу и сам написал главу, посвященную результатам. Шаг за шагом ученые просили бот написать нужные главы: введение, методологию исследования и прочие. Наконец, заставили его улучшить изложение материала.

Однако в таком виде статья, хотя и стала удобочитаемой и наукообразной, все еще остается далекой от совершенства. В частности, авторы столкнулись с тенденцией ChatGPT измышлять факты (феномен галлюцинирования). В данном случае бот сочинял несуществующие цитаты и неточно передавал информацию. Вторая проблема, которая обеспокоила ученых — возможность использовать этот инструмент для некорректного метода p-hacking (слепого прочесывания данных) поиска статистически значимых закономерностей, когда до читателя доносят только устраивающий автора результат. Третья проблема — легкость составления статьи при помощи языковых моделей ИИ приведет к шквалу публикаций низкого качества (подобное уже происходит в других сферах издательской деятельности).