Языковые модели становятся пугающе доступными. ИИ Alpaca по многим параметрам не уступает нашумевшему ChatGPT, но создан на языковой модели с открытым кодом, а его обучение стоит менее $600. Похоже, что в скором времени нас ожидает волна созданных буквально «на коленке» бесконтрольных и нерегулируемых ИИ с возможностями, пределы которых никому толком неизвестны.

Полгода назад только исследователи и эксперты следили за развитием больших языковым моделей. Появление ChatGPT в конце 2022-го выпустило джинна из бутылки. Теперь машины в состоянии общаться с людьми так, что их почти невозможно отличить от собеседников из плоти и крови. Они умеют мгновенно сочинять поэмы и писать программный код, и совершенствуются с астрономической скоростью, угрожая изменить общество еще до того, как мы это успеем осознать.

Многие другие компании — Google, Apple, Baidu, Amazon — тоже стараются не отставать и как можно скорее представить собственные разработки, подключив их к всевозможным приложениям и сервисам. Языковые модели проникают в поисковики, автомобили, телефоны, телевизоры и роботов, пишет New Atlas.

До сих пор создание таких моделей было делом долгим и дорогостоящим, поэтому регулировать их было не так сложно, но команда ученых из Стэнфордского университета разработала ИИ, который можно обучить всего за 600 долларов США. В его основе — открытая языковая модель LLaMA 7B, созданная в лаборатории Meta*, самая маленькая и дешевая из семейства. В базовом варианте она существенно отстает от ChatGPT по многим параметрам.

Затем исследователи обратились к модели GPT с просьбой показать записи обучающих диалогов с инструкторами и начать генерировать аналогичные тексты. Все это было автоматизировано благодаря API, предоставленному OpenAI. За короткое время команда собрала 52 тысячи примеров диалогов, которые можно было использовать для дальнейшего обучения модели LLaMA. Все это обошлось менее чем в $500.

За тонкую настройку модели пришлось выложить еще менее сотни долларов. На это ушло три часа и восемь облачных процессоров А100 на 80 ГБ. Затем модель, названную «Альпака», протестировали параллельно с ChatGPT, заставив выполнить различные задачи: писать электронные письма, сообщения в соцсетях, утилиты для повышения производительности. Альпака получила 90 баллов, GPT — 89.

Разработчики были поражены такой эффективностью метода, хоть и понимают, что их оценка может не отражать полную картину. При этом они уверены, что путем оптимизации можно еще больше снизить расходы на обучение, и выложили 52 тысячи вопросов, а также код, позволяющий сгенерировать новые, на Github.

Все это означает, что в скором времени появится неограниченное количество бесконтрольных языковых моделей, созданных людьми, не слишком щепетильными в выборе средств заработка.

На днях глава OpenAI Сэм Альтман признался в интервью, что боится волны дезинформации, а также роста безработицы, вызванных появлением генеративных моделей вроде GPT-4. В то же время, ИИ может стать «величайшей из всех созданных людьми технологий» и в значительной мере улучшит жизнь, но опасности, которые она несет, также вполне реальны.