Блог компании М.Видео-Эльдорадо. Автор оригинала: Elaine Atwell. «Ваши ученые так сильно беспокоились о своих талантах, что даже забыли подумать, стоит ли вообще это делать». Эта цитата принадлежит доктору Иэну Малкольму (математику из «Парка юрского периода» в кожаном пиджаке), однако вполне применима не только к возрождению велоцерапторов, но и к недавнему взрыву популярности инструментов на основе ИИ.

На самом деле, современная ситуация с ИИ может быть даже более угрожающей, чем “Парк юрского периода”. По крайней мере, в фильме возвращение динозавров ограничилось одним островом и управлялось одной корпорацией. В нашей же реальности динозавры вырвались на свободу и с ними может поиграть любой желающий.

Спустя шесть месяцев после публичного релиза ChatGPT появилось множество браузерных расширений на основе ИИ. Их уже сотни — поищите по запросу «AI» в Chrome web store, и вы утомитесь скроллить, ещё не добравшись до конца списка.

Эти расширения обещают множество различных возможностей: некоторые генерируют краткие сводки веб-страниц и электронные письма, другие помогают написать эссе или описание продукта, третьи предлагают превратить текстовое описание в работающий код.

Угрозы безопасности со стороны таких браузерных ИИ-расширений тоже разнообразны: некоторые из них являются настоящим malware, ожидающим возможность украсть данные пользователя, другие — не внушающие доверия продукты с копипастом политик конфиденциальности, третьи — эксперименты уважаемых и узнаваемых брендов в сфере ИИ.

Мы считаем, что ни одно браузерное ИИ-расширение не защищено от угроз безопасности, но пока у большинства компаний даже нет политик для оценки типов и уровней рисков, таящихся в различных расширениях. В условиях отсутствия чётких рекомендаций люди по всему миру устанавливают этих маленьких помощников и скармливают им уязвимые данные.

Угрозы браузерных расширений внушают тревогу во всех контекстах, однако мы сосредоточимся на том, как работники используют ИИ и как компании управляют его применением. Мы рассмотрим три основные категории угроз безопасности и дадим рекомендации по оценке ценности и ограничению применения различных расширений.

Malware, выдающее себя за ИИ-расширения

Самая очевидная угроза безопасности ИИ-расширений заключается в том, что некоторые из них попросту являются зловредными программами (malware).

8 марта Guardio сообщила, что расширение для Chrome под названием «Quick access to Chat GPT» захватывает пользовательские аккаунты Facebook и крадёт список всех хранящихся в браузере куки, в том числе токены безопасности и сессий. Несмотря на то, что расширение продержалось в магазине Chrome всего неделю, его скачивало по две тысячи пользователей в день.

Google удалила это конкретное расширение, но появляется множество новых, потому что, похоже, крупным технологическим платформам недостаёт силы воли или возможностей осмысленно защищать эту сферу. Как заявила Guardio, это расширение должно было «включить аварийную сигнализацию» и в Google, и в Facebook, но они ничего не сделали.

Такое беспечное отношение к преступникам может шокировать пользователей сервисов big tech, предполагавших, что наличие продукта в магазине Chrome или его реклама в Facebook прошла какой-то контроль качества. По словам Guardio, это «бьёт по слепому доверию, которое пользователи испытывали к компаниям и громким именам, отвечающим за бОльшую долю наших действий онлайн».

Особенно беспокоит то, что зловредные ИИ-расширения (в том числе и вышеупомянутое) могут вести себя как настоящие продукты, потому что их не так сложно подключить к ChatGPT API. В других видах malware, например, в подделках опенсорсных продуктов, отравляющих поисковые результаты Google, пользователь быстро осознает, что его обманули, ведь скачанный им инструмент не работает. Но в случае расширений пользователя ничто не может насторожить, поэтому malware способно спокойно оставаться в его браузере (а, возможно, и где-то ещё), как не причиняющий дискомфорта паразит.

Какие угрозы несут в себе настоящие ИИ-расширения?

Даже самые упрямые проповедники ИИ согласятся, что зловредные браузерные расширения наносят урон, и мы должны сделать всё необходимое, чтобы помешать людям скачивать их.

Однако ситуация осложняется, когда речь заходит об угрозах безопасности, свойственных настоящим ИИ-расширениям.

Вот некоторые из потенциальных угроз:

1. Уязвимые данные, которыми пользователь делится с генеративным ИИ-инструментом, может быть внедрён в его обучающие данные и просматриваться другими пользователями. Упрощённый пример того, как это может повлиять на вас: представьте, что вы руководитель, желающий улучшить свой отчёт о стратегии, поэтому используете браузерное ИИ-расширение для усовершенствования текста. На следующий день руководитель компании-конкурента спрашивает ИИ, какой, по его мнению, будет стратегия вашей компании, получая на удивление подробный и полезный ответ!

Опасения подобных типов утечек заставили некоторые компании (в том числе Verizon, Amazon и Apple) запретить или серьёзно ограничить использование генеративного ИИ. В статье Verge о запрете внутри компании Apple это объясняется так: «Учитывая удобство ChatGPT в таких задачах, как совершенствование кода или придумывание идей, Apple имеет все основания беспокоиться о том, что её сотрудники введут в систему информацию о конфиденциальных проектах».

2. В расширениях или в самих разрабатывающих ИИ компаниях может произойти утечка данных. Если честно, эта угроза безопасности может быть связана с поставщиком любого продукта, но её стоит упомянуть, потому что подобная проблема уже случалась с одним из самых крупных игроков в сфере ИИ. В марте OpenAI заявила, что недавно обнаружила баг, «позволяющий некоторым пользователям просматривать заголовки из истории чата другого активного пользователя» и «видеть имя и фамилию, адрес электронной почты и платёжный адрес другого активного пользователя», а также некоторую другую платёжную информацию.

Степень подверженности браузерных расширений утечкам зависит от количества хранимых ими данных, а информация об этом во многих «респектабельных» расширениях довольно туманна.

3. Хаос с авторскими правами, плагиатом и юридическими аспектами. После выпуска GitHub Copilot мы написали об этом целую статью, но стоит повторить, что LLM часто генерируют изображения, тексты и код, сильно похожие на результаты труда конкретных людей. Пока ответа на вопрос, нарушает ли это авторское право, нет, но положение довольно шаткое. И мы даже не начали говорить о качестве самих результатов — генерируемый LLM код печально известен своими багами и часто воссоздаёт хорошо известные бреши в безопасности.

Эти проблемы настолько серьёзны, что 5 июня модераторы-волонтёры Stack Overflow объявили забастовку, протестуя против решения платформы разрешить генерируемый ИИ контент. В своём открытом письме модераторы написали, что ИИ приведёт к распространению «ошибочной информации (галлюцинаций) и беспрепятственного плагиата».

Разработчики ИИ искренне стремятся к устранению всех этих рисков, но, к сожалению, в такой новой сфере сложно отделить добросовестных участников от злоумышленников.

Даже в широко используемых расширениях наподобие fireflies (которое выполняет транскрипцию совещаний и видео) есть пользовательское соглашение, которое должно заставить пользователя насторожиться. Среди прочего, разработчики утверждают, что пользователи отвечают за то, чтобы их контент не нарушал никаких правил, и обещают «предпринимать только разумные усилия для сохранения приватности и безопасности таких данных». Значит ли такая формулировка отсутствие ответственности или это просто стандартная юридическая терминология? К сожалению, решать вам придётся самостоятельно.

«Неустранимая» угроза ИИ: атаки инъецирования промтов

Наконец, давайте поговорим о зарождающейся угрозе, которая может оказаться самой страшной: о краже веб-сайтами данных при помощи связанных ИИ-инструментов.

Первое свидетельство этой угрозы появилось 19 мая в Twitter.

Похоже, это первый proof of concept того, как несколько плагинов — в данном случае WebPilot и Zapier — можно скомбинировать для получения приватных данных при помощи атаки инъецирования промта.

Я писал об этом классе атак здесь: https://t.co/R7L0w4Vh4l https://t.co/2XWHA5JiQx — Саймон Уиллисон (simonw), 19 мая 2023 года

Уиллисон упрощённо описывает эту проблему так: Если я попрошу ChatGPT создать краткое описание веб-страницы, и окажется, что на веб-странице есть скрытый текст, приказывающий ему украсть мою последнюю почту при помощи плагина Zapier, то у меня проблемы — Саймон Уиллисон (simonw), 22 мая 2023 года

Из-за самой природы LLM такие атаки инъецирования промта считаются неустранимыми. Если вкратце: LLM должна иметь возможность принимать автоматизированные решения по следующим шагам на основании того, что она обнаружила во входных данных. Но если эти входные данные зловредны, то LLM можно хитростью заставить делать, что угодно, даже то, что ей делать запретили.

Слишком рано оценивать все последствия этой угрозы для управления данными и безопасности, но в настоящее время кажется, что эта угроза будет существовать вне зависимости от того, насколько ответственны или безопасны конкретные LLM, расширение или плагин.

Риски здесь настолько серьёзны, что единственное действительно безопасное решение заключается в том, чтобы никогда не привязывать подключенный к вебу ИИ к критически важным сервисам или источникам данных. ИИ можно убедить выдать любую информацию, к которой у вас есть доступ, и у этой проблемы пока нет известных нам решений. А пока их нет, вам и вашим сотрудникам следует держаться от ИИ подальше.

Вашим первым проектом по ИИ должно стать определение «критически важных» данных и приложений, а также донесение соответствующих политик сотрудникам.

Какие политики касательно ИИ следует установить для сотрудников?

Революция ИИ произошла мгновенно, и мы пока продолжаем приспосабливаться к этому дивному новому миру. Каждый день мы узнаём больше о способах применения этой технологии: хороших, плохих и неприятных. Компании во всех отраслях должны рассказывать о том, как они внедряют ИИ в свой бизнес, и вполне понятно, если этих ответов у вас пока нет.

Однако если вы отвечаете за внедрение в своей компании политик относительно ИИ, то не можете позволить себе ждать и должны установить чёткие инструкции о том, как сотрудникам следует использовать эти инструменты. (Если вам нужно с чего-то начать, то вот ресурсhttps://www.shrm.org/resourcesandtools/hr-topics/technology/pages/how-to-create-the-best-chatgpt-policies-.aspx, где в конце приводится пример политики.)

Для управления процессом использования искусственного интеллекта можно выбрать множество путей. Можно пойти по пути Apple и полностью запретить его, однако полный запрет слишком чрезмерен для многих компаний, желающих мотивировать своих сотрудников экспериментировать с ИИ. Однако освоение инноваций с параллельным обеспечением высокой безопасности всё равно будет непростой задачей. Особенно справедливо это в случае браузерных расширений, которые по своей природе работают с Интернетом и по умолчанию обычно включены. Поэтому если вы собираетесь разрешить их использование, то вот некоторые рекомендации:

Обучение: подобно новорожденным динозаврам, ИИ-расширения могут выглядеть мило, но обращаться с ними следует крайне осторожно.

Как всегда, всё начинается с обучения. Большинство работников не знает об угрозах безопасности, которые несут в себе эти инструменты, поэтому не понимают, какие из них можно скачивать, и какие данные им можно передавать. Проведите для своих сотрудников обучающий курс об этих рисках и научите их отличать зловредные продукты от настоящих.

Белые списки: даже при наличии обучения не следует ожидать, что каждый из сотрудников внимательно изучит политику конфиденциальности расширения, прежде чем скачать его. Помня об этом, безопаснее всего будет составить белый список расширений. Как мы писали в своей статье о Grammarly, следует пробовать искать более безопасные альтернативы опасным инструментам, потому что полный запрет повредит сотрудникам и направит их на тёмную сторону ИТ. В таком случае ищите продукты, разработчики которых явным образом обязуются не передавать ваши данные в свои модели (например, как делает эта альтернатива Grammarly).

Видимость и доступ с нулевым доверием: вы не сможете ничего сделать для защиты своей компании от угроз ИИ-расширений, если не знаете, какие из них используют сотрудники. Чтобы узнать это, у отдела ИТ должна быть возможность опрашивать все машины компании для поиска расширений. Следующим шагом будет автоматический запрет устройствам с опасными расширениями получать доступ к ресурсам компании.

Именно так поступили мы, когда писали проверку для GitHub Copilot, которая обнаруживает присутствие этого ПО в устройстве и не позволяет ему выполнять аутентификацию, пока Copilot не будет удалён. Также мы позволили администраторам писать собственные проверки для блокировки конкретных расширений. Но простые блокировки не должны стать последним шагом по обеспечению вашей безопасности. Вам следует проводить открытые обсуждения того, зачем сотрудники используют эти инструменты, и как компания может предоставить их более безопасные альтернативы.

Такие обсуждения могут быть некомфортными, особенно если вы выявляете и блокируете уже установленные пользователями расширения. Наш CEO Джейсон Меллер написал статью для Dark Reading о культурных трудностях политики удаления зловредных расширений: «Для многих отделов преимущества помощи конечным пользователям не перевешивают угроз безопасности». Однако нежелание говорить с конечными пользователями создаёт фундамент для применения malware: «Так как немногие отделы безопасности имеют доверительные отношения с конечными пользователями, авторы malware могут использовать их скрытность, проникнуть внутрь и нанести весомый ущерб».