Ученые-компьютерщики из Наньянского технологического университета придумали, как скомпрометировать чат-ботов с искусственным интеллектом (ИИ). Для этого они обучили чат-бот создавать подсказки, которые позволяют обходить защиту других чат-ботов на базе ИИ.

Исследователи использовали двойной метод «взлома» LLM (большой языковой модели), который они назвали «Masterkey».

Для начала они провели реверс-инжиниринг того, как LLM находят вредоносные запросы и защищаются от них. Используя эту информацию, они научили модель автоматически учиться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, которая адаптируется и создает новые запросы для взлома даже после того, как разработчики исправят свои модели.

Выводы ученых помогут компаниям и предприятиям выявить слабые стороны и ограничения чат-ботов LLM, чтобы принять меры по их защите от хакеров.

Ученые провели серию проверочных тестов на разных LLM (каких именно, не разглашается), чтобы доказать работу метода. Затем исследователи немедленно сообщили о проблемах соответствующим поставщикам услуг после успешных атак с джейлбрейком.

Джейлбрейк — это термин в области компьютерной безопасности, при котором компьютерные хакеры находят и используют недостатки в программном обеспечении системы, чтобы заставить ее делать то, что ее разработчики намеренно запретили делать.