Блог компании Security Vision. Автор: @anaoley. OpenAI был основан 7 лет назад. На тот момент времени уже возникало понимание, что в сфере искусственного интеллекта происходит нечто важное, качественный прорыв. И создатели OpenAI (не более сотни человек в исследовательской лаборатории) поставили перед собой цель катализировать знания, использовав технологию языковых моделей для создания позитивного управляемого инструмента массового применения.

Прогресс в технологии machine learning радует, беспокоит и вызывает эти два чувства одновременно: сейчас весь мир определяет возможности технологии, которая в будущем будет одной из неотъемлемых частей нашей жизни. Хочется верить, что мы сможем использовать искусственный интеллект правильно, но встречаются совершенно разные кейсы его применения как на светлой, так и на темной стороне ИБ. Давайте посмотрим, что представляет собой ChatGPT сегодня и какие основополагающие принципы лежат в основе технологии.

Рисунок 1. Пример взаимодействия с ChatGPT

OpenAI по сути является «чат-ботом на стероидах», то есть это искусственный интеллект, который генерирует персонализированные ответы на основе пользовательского ввода. При этом он способен удивительно естественным образом отвечать на любой вопрос, который вы ему зададите. На официальной странице создателей OpenAI говорится: «Мы обучили модель под названием ChatGPT, которая взаимодействует в разговорной манере. Формат диалога позволяет ChatGPT отвечать на последующие вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы».

Различия моделей

Модели OpenAI, доступные к взаимодействию:

• GPT-3,5 и GPT-4 – это основные модели, с которыми мы работаем через Telegram или по API в базовых настройках. Это немодифицированные типовые модели, которые максимально оптимизированы для универсальных запросов под обычного пользователя. Они обучены на ограниченном количестве данных, но зато выдают самый быстрый результат из всех моделей.
• Ada – самая быстрая из всех моделей, способна выполнять такие задачи, как синтаксический анализ текста, исправление адреса и менее сложные задачи классификации.
• Babage – лучше всего подходит для простых задач классификации и выполняет SEO-анализ текста.
• Curie – подходит для задач классификация и анализа настроений. Модель также выдает результаты на запросы, отвечает на вопросы и может использоваться в качестве чат-бота общего назначения. Сравнение показывает, что она может выполнять многие задачи Davinci, но за 10% стоимости.
• Davinchi –самая крупная модель OpenAI (для понимания: при обучении модели использовалось более 150 миллиардов обучающих блоков, тогда как GPT-3,5 и GPT-4 обучались всего на 6 миллиардах блоков данных). Модель успешно решает задачи, связанные с поиском причинно-следственных связей, и генерирует более качественный текст, когда речь идет о сложных задачах. При этом Davinchi потребляет больше ресурсов и времени.

Интерактивное взаимодействие с моделью происходит за счет «Промтов», то есть запросов, которые мы отсылаем в нейросеть. Поэтому эффективность применения ChatGPT напрямую зависит от такого, каким образом вы конструируете запрос. Во время изучения технологии мы выяснили: чем более детальный вопрос мы отправляли (чем больше контекста ситуации закладывали в тексте вопроса), тем более точный и полезный ответ получали в первой же итерации.

Как правильно задавать вопрос?

При написании вопроса к моделям OpenAI есть несколько основных правил:

1. Необходимо описать, задать роль вопрошающего: я – аналитик ИБ, студент или devsecops.
2. Важно использовать глагол – действие, которое вы ожидаете от чата: опиши, напиши, сделай рерайт, переведи.
3. Не забывайте использовать в описании ситуации наводящие вопросы и указания: Правильно ли я правильно понимаю? Приведи пример! и т.д.
4. Лучше писать на английском – результат будет выдан быстрее и качественнее (переводить можно через deepl – тоже на нейросетях).

Рисунок 2. Объяснение самим ChatGPT, что такое Promt

Используйте все возможности ChatGPT

Чтобы получить более быстрый и качественный ответ, мы отметили для себя несколько важных моментов:

1. Полезно внимательно отнестись к описанию ролей (не только своей, даже нескольких участников ситуации). Таким образом, вы задаете тон общения, а именно спецификацию языка взаимодействия с вами. Примеры:

1. Можно попросить модель объяснить так, чтобы понял ребенок. Например, автор однажды использовала чат для объяснения питонячего скрипта десятилетнему сыну, и миссия была выполнена успешно.
2. Или другая ситуация: если попросить чат привести пример атак на wi-fi со стороны аналитика SOC или со стороны регулятора, то результаты вы получите совершенно разные.

2. Используйте возможность модели принимать решения: попросите дать рекомендации в зависимости от ситуации, и OpenAI предоставит вам персонализированный совет.

Отличие чата от поисковиков заключается в том, что ChatGPT может сам формулировать поисковые запросы, переходить по ним, анализировать содержимое веб-страниц и даже транскрибировать видео в текст. И пока машина все это делает, она фактически записывает цепочку своих мыслей, чтобы следующий поисковый запрос сделать еще более точным в контексте заданной ситуации. Все это вы могли бы сделать сами, но поиск информации – достаточно утомительная задача, и люди не особо любят этим заниматься. Гораздо интереснее контролировать, занять позицию менеджера, где вы можете, если хотите, трижды проверить работу, скорректировать фрагмент цепочки рассуждения модели и отправить результат на уточнение.

Иногда ChatGPT предоставляет неверную информацию, особенно если исходные данные содержат ошибки или неточности. Мы сталкивались с тем, что она ссылалась на выдуманные python библиотеки. Такие коллизии в первую очередь связаны с тем, что у ChatGPT отсутствует доступ к интернету в реальном времени. Модель обучалась на данных до декабря 2021, и надо иметь в виду, что информация прошлого месяца не попадет в результат её анализа.

Резюмируя вышесказанное: если вы задумываетесь о выборе профессии будущего, уже сейчас понятно, что архитектор или оператор запросов к нейросетям будет одной из самых востребованных.

Ограничения

Наверное, самое затруднительным ограничением модели является то, что ChatGPT имеет лимит на количество токенов (слов или символов) в одном запросе или ответе. Лимит зависит от используемой версии: 4000 токенов для ChatGPT-3.5 и 8000 токенов для ChatGPT-4. Это создает неудобства при декомпозиции вопроса и влияет на результат работы модели – он может быть недостаточно детальным.

При этом не стоит заблуждаться относительно публичных возможностей OpenAI: в массовом применении она имеет огромное количество ограничений на выдаваемую информацию. Ограничения наложены со стороны этически моральных норм, текущей повестки толерантности и, конечно же, безопасности применения выдаваемых данных. То есть, если мы попросим ChatGPT написать вредоносный код (модель хорошо умеет писать код, так как обучалась на гигабайтах кода в гитах), мы получим вежливый отказ по этическим соображениям. ChatGPT не будет делать прогнозы, выдавать оскорбительный контент, писать скрипты для хакинга, ддоса и так далее.

Но люди не были бы людьми, если бы не нашли способ обойти замки, наложенные на работу нейронки. Ограничения снимаются «убалтыванием чата» или ошибками логики в задаваемых вопросах (например, когда вы в контексте одного диалога задаете вопросы от множества ролей как при диссоциативном расстройстве). Эта техники называются Jailbreak. Но ошибки логики реализовывать достаточно утомительно – процесс займет какое-то время, поэтому пользователи придумали его автоматизировать, а для наборов взламывающих промтов по популярным темам вывели расширения. В принципе, использование наборов преднастроенных промптов – очень эффективный способ обойти не только ограничения, но и улучшить качество получаемой информации и ускорить процесс ее получения, потому что они направляют систему в нужном направлении.

Рисунок 3. Пример браузерного расширения с готовыми моделями DAN (Do Anything Now)

Однако, несмотря на все эти преимущества, огромная мощь этого инструмента может быть использована и злоумышленниками.