Блог компании Xeovo VPN. Автор текста: @EgorKotkin. Фундаментальный парадокс ИИ заключается в том, что раньше люди его представляли идеальным разумом: всезнающим, корректным и точным, который благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений и мощности своих алгоритмов, может стать совершенным помощником человека, извне компенсирующего внутренние изъяны человеческой натуры — эдаким Джарвисом, с которым каждый может быть Железным человеком.

Надежда была, что таким образом ИИ станет решением проблем роста человеческой цивилизации и отношений людей в ней далеко за пределами сугубо технологического применения: вплоть до разрешения политических конфликтов, войн и коррупции. Но первые эксперименты с современными чат-ботами, ChatGPT 3.5, ChatGPT 4 и их конкурентами, показывают, что ИИ несёт в себе в равной степени потенциалы решения одних проблем вместе с усугублением других. Такие проблемы как спам, скам и ложная информация силами ИИ прямо на наших глазах начинают мутировать из обычных злодеев интернета в будущих суперзлодеев.

В конце марта Илон Маск и другие тяжеловесы IT-отрасли подписали открытое письмо, в котором заявляли, что ИИ представляет «экзистенциальный риск» для человечества. Они призвали лаборатории ввести шестимесячный мораторий на разработку любой технологии, более мощной, чем GPT-4.

Подобные публичные выступления редко объясняются единственной причиной, скорее всего за ними стоит комплекс различных мотиваций, сошедшихся в одной точке. Одна из них, вполне возможно — тревога людей, чьи капиталы напрямую завязаны на IT и в том числе AI, что конкуренты убегают слишком далеко вперёд и за эти полгода могут набрать скорость отрыва. Особенно это актуально для самого Маска, капитализация «Теслы», его основного богатства, критически завязана на ИИ — в его случае, автомобильный автопилот. Именно поэтому, компания «Тесла» в 3 раза дороже «Тойоты», несмотря на то, что производит в восемь раз меньше автомобилей (1,3 млн против 10,5 млн в 2022 году).

Обычно крупные капиталисты против госрегулирования, но только не когда они чувствуют, что проигрывают конкурентную борьбу. Будь то китайский ТикТок, побивший американские корпорации в их же собственной игре на поле соцсетей, или компании, вырывающиеся вперёд в создании продвинутых чатботов — тогда принципы невмешательства государства уступают необходимости выдержать конкурентную борьбу любой ценой. Так и в этом случае, запрос о госрегулировании пришёл от участников, которые выражают интерес к собственным разработкам в ИИ. Тогда как текущие лидеры разработки ИИ этот призыв проигнорировали.

С другой стороны, с фокусом этого письма на абстрактных и немного фантастических угрозах «нечеловеческого разума, который, в конечном итоге, может превзойти нас числом, умом, сделать нас устаревшими и заменить нас» не согласны многие эксперты по ИИ: проблема современного ИИ не в абстрактной пока угрозе, что он станет врагом человека, а во вполне реальном вреде, который он причинит в качестве помощника человека.

Прежние системы ИИ, используемые в разных сферах, где принимают зачастую судьбоносные решения, из-за своей предвзятости своих моделей загоняют людей в нищету или приводят к неправомерным арестам. Модераторам приходится просеивать горы травмирующего контента, созданного искусственным интеллектом, всего за 2 доллара в день. Количество вычислительной мощности, используемой языковыми моделями ИИ, ведёт к загрязнению окружающей среды.

Новые модели уровня ChtaGPT 3 и 4, которые выходят на первый план сейчас, в самом ближайшем будущем вызовут хаос совершенно иного порядка. Как пишет MIT Technology Review, языковые модели ИИ до смешного легко использовать не по назначению и использовать в качестве мощных инструментов фишинга или мошенничества.

Известные угрозы безопасности пользователей и адекватности информации в интернете, которые несут ошибки и злоупотребления моделями ИИ:

1. Взлом и «угон» ИИ-чат-ботов с получением доступа к их базовому коду и данным позволит использовать их для создания вредоносных чат-ботов, которые могут выдавать себя за обычные.
2. Содействие цифровым атакам. Чат-боты с искусственным интеллектом могут использоваться для помощи в мошеннических и фишинговых атаках путем создания убедительных сообщений, которые обманом заставляют пользователей раскрывать конфиденциальную информацию или выполнять действия, которые они не должны делать. Например, всё, что нужно для атаки, называемой скрытой prompt-инъекцией — это скрыть запрос (prompt) для бота на веб-странице нулевым или невидимым на белом фоне белым шрифтом. Сделав это, злоумышленник может приказать ИИ делать то, что ему нужно — например, выведать данные банковской карты пользователя.
3. Цифровой помощник преступников. Новейшие возможности нейросетей уже берутся на вооружение мошенниками всех сортов, размывая границу между цифровыми и оффлайновыми преступлениями. В апреле уже прогремел случай, когда вымогатели потребовали у женщины выкуп в миллион долларов за возврат якобы похищенного ребёнка, используя дипфейк голоса её дочери. Правдоподобные дипфейки аудио, видео, созданные нейросетями реалистичные картинки и тексты в совокупности создают мощный инструмент для обмана и принуждения людей.
4. Отравление данных. Чат-боты с искусственным интеллектом можно обучать на зараженных наборах данных, содержащих вредоносный контент, которые затем можно использовать для создания вредоносных материалов — например, фишинговых писем.
5. ИИ-галлюцинации. Этот термин используется для описания вымышленных ответов чатботов. С этим феноменом столкнулись уже очень многие пользователи, но объяснения ему до сих пор нет. ChatGPT отличается тем, что выдумывает несуществующие книги, цитаты, исследования и людей, причём снабжает их подробными оглавлениями, списками источников, насыщает биографии вымышленных людей событиями — и тараторит это с такой убедительностью, словно он пересказывает статью из «Википедии», но всё это — полностью, с нуля сфабрикованное на ходу. И хотя здесь нет (скорее всего,) чьего-то злого умысла — по крайней мере, пока — трудно даже представить, к какому засорению интернета продуктами ИИ-галлюцинаций это приведёт. Но не приходится сомневаться, что это произойдёт: цитаты в интернете были проблемой и до ИИ.

В апреле Италия стала первым государством, отреагировавшим на совокупность новых угроз, которые несёт последний прорыв в развитии нейросетей, запретив ChatGPT на своей территории из соображений защиты личных данных, и пообещав расследовать соответствие продукта OpenAI общеевропейским нормам GDPR (General Data Protection Regulation) — что, в свою очередь, может грозить последствиями уже на уровне всего Евросоюза.

Технологические компании знают об этих проблемах, но пока не имеют хороших решений. Microsoft говорит, что работает со своими разработчиками, чтобы отслеживать, как их продукты могут быть использованы не по назначению, и снижать эти риски, но, учитывая масштабы и сложность проблем, общих заявлений совершенно недостаточно.

Прямо сейчас технологические компании встраивают эти фундаментально уязвимые модели во всевозможные продукты — от программ, генерирующих код, до виртуальных помощников, которые просеивают наши электронные письма и календари, тем самым, закладывая топливо, которое будет питать приводимый в работу ИИ-моделями глючный, спамный, мошеннический интернет.

«Разрешение этим языковым моделям извлекать данные из Интернета дает хакерам возможность превратить их в «сверхмощный механизм для спама и фишинга», — говорит Флориан Трамер, доцент кафедры компьютерных наук в ETH Zürich, который занимается компьютерной безопасностью, конфиденциальностью и машинным обучением.

Работает это следующим образом: сперва злоумышленник скрывает вредоносную подсказку в сообщении электронной почты, которое открывает виртуальный помощник на основе ИИ. Затем подсказка злоумышленника просит виртуального помощника отправить злоумышленнику список контактов или электронные письма жертвы или распространить атаку на каждого человека в списке контактов получателя. В отличие от современного спама и мошеннических электронных писем, когда людей приходится обманом заставлять переходить по ссылкам, эти новые виды атак будут невидимы для человеческого глаза и автоматизированы.

Это прямой путь к катастрофе, если виртуальный помощник имеет доступ к конфиденциальной информации, такой как банковские или медицинские данные. Возможность изменить поведение виртуального помощника на базе ИИ означает, что людей можно обманом заставить одобрить транзакции, которые выглядят достаточно близко к реальным, но на самом деле подброшены злоумышленником.

Работа в интернете с использованием браузера со встроенной языковой моделью ИИ также будет рискованной. В одном тесте исследователю удалось заставить чат-бота Bing генерировать текст, который выглядел так, как будто сотрудник Microsoft продавал продукты Microsoft со скидкой, чтобы попытаться получить данные кредитной карты людей. Чтобы попытка мошенничества всплыла, от человека, использующего Bing, не потребуется ничего делать, кроме посещения веб-сайта со скрытой prompt-инъекцией на странице.

Существует даже риск того, что эти модели могут быть скомпрометированы до того, как они будут развернуты в реальных условиях. Модели искусственного интеллекта обучаются на огромном количестве данных, взятых из интернета. Это также включает в себя различные программные ошибки, которые OpenAI обнаружил на собственном горьком опыте. Компании пришлось временно закрыть ChatGPT после того, как баг из опенсорсного набора данных для чат-бота привёл к утечке истории чатов пользователей. В ходе этой утечки были также скомпрометированы частичные платёжные данные платных пользователей сервиса: адрес, тип и последние цифры банковских карт. Ошибка была предположительно случайной, но случай показывает реальность угрозы «отравления данных», когда источником проблем может быть ошибка даже не в самом ИИ, а в наборе данных, который ИИ использует.

Команда Трамера обнаружила, что «отравить» наборы данных контентом, который они внедрили, было дешево и легко. Затем скомпрометированные данные были перенесены в языковую модель ИИ.

Эпоха богонов

Богоны, термин из романа Нила Стивенсона «Анафема» — это ложная информация, наводнившая интернет. Существуют низкокачественные богоны (например, файл, полный тарабарщины) и высококачественные богоны, маскирующиеся под реальные данные, но отличающиеся в нескольких местах, что делает их особенно трудными для обнаружения.

Чем больше раз что-то появляется в наборе данных, тем сильнее становится ассоциация в модели ИИ. Посеяв достаточно токсичного контента в обучающих данных, можно навсегда влиять на поведение и результаты модели. Эти риски будут усугубляться, когда языковые инструменты ИИ используются для генерации кода, который затем встраивается в программное обеспечение.

«Если вы создаете программное обеспечение на этом материале и не знаете о prompt-инъекциях, вы будете делать глупые ошибки и создавать небезопасные системы», — говорит Саймон Уиллисон, независимый исследователь и разработчик программного обеспечения, изучавший мгновенную инъекцию.

По мере распространения языковых моделей ИИ растет и стимул для злоумышленников использовать их для взлома. На нас надвигается шторм из спама, ИИ-галлюцинаций, сливов и обманов, к которому мы совершенно не готовы.

Грандиозное обещание искусственного интеллекта, быстро оборачивающиеся грандиозными проблемами — не уникальная проблема ИИ. Подобное уже было на заре интернета, когда его появление всеми рекламировалось, как решение проблем социально-экономического неравенства и бедности: равный доступ к сокровищнице коллективного человеческого знания, возможность общаться и сотрудничать независимо от географической удалённости казались обещанием эгалитарианской утопии в реальности. Это обещание частично оказалось выполнено: многие люди, читающие эту статью, благодаря интернет-революции получили путёвку в жизнь, уехали из своих маленьких городов в большие, из бедных стран в богатые, построили карьеру и даже бизнесы. Но, вместе с тем, с точки зрения big picture, неравенство, которое беспокоило романтически настроенных энтузиастов интернета в начале 1990-х, в 2023 достигло исторически беспрецедентных масштабов. И это не случайность: современный разрыв между рядовыми людьми и богатейшими членами общества превысил всё, что было в прошлом, потому что в прошлом он не был возможен — а стал возможен только в современном глобальном оцифрованном мире. Тот же равный доступ к глобальной кооперации для рядовых людей, для корпораций означает доступ к глобальным рынкам и возможность побеждать в конкуренции в глобальном масштабе, аккумулируя сотни миллионов и миллиарды пользователей и соответствующие доли быстро растущей цифровой экономики.

Как метко заметили на «Реддите» в обсуждении того, как ИИ грозит сделать интернет местом скама, спама и обмана — среды, заточенной на оболванивание пользователей и вытягивание их личной информации и денег, мы уже в этой реальности: она называется интернет под контролем корпораций: We're already there, it's just corporate powered.

«Гугл» уже давно не столько поисковый, сколько рекомендательный сервис: вместо решения задач пользователя по поиску ответа, он решает задачи сайтов, по получению переходов через продвижение в поисковой выдаче или контекстной рекламой. А на самих сайтах уже царит Дикий запад. Реддиторы жалуются на накрутку и фейковые отзывы на многих ресурсах, которые стараются создать видимость активной пользовательской базы и респектабельности.

Вчерашние стартапы, выросшие в корпорации, из друзей человека превратились в угрозу свободе слова, предпринимательства и той же самой культуре стартапов, из которой выросли: с нуля вырастить свой «Гугл» или «Амазон» можно только один раз — когда эта ниша ещё не занята гигантскими корпорациями на триллион долларов. Гаражные стартапы могут конкурировать с гаражными стартапами, конкурировать с корпорациями могут только другие корпорации. Если успех «Фейсбука», «Ютуба» и «Инстаграма» — это заслуга крутых команд, то успех потеснившего их «ТикТока» — это уже уровень столкновения национальных экономик.

То, что на входе обещало исправить перекосы общества, на практике, подарив путёвку в жизнь отдельным людям и проектам, усугубило изначальную проблему в целом, увеличив и зацементировав неравенство возможностей в глобальных масштабах.

ИИ не может решить за человека проблемы, источником которых является человек

Из этого нужно вынести важный урок, без которого эпоха ИИ станет очередным хождением по граблям, но на этот раз — с искусственным интеллектом — точнее, сильнее, и от которых не увернёшься. Урок в том, что технический прогресс не может решить социально-экономические проблемы человечества, потому что корень этот проблем — не в недостатке каких-то инструментов, а в организации социально-экономических отношений. Если эти отношения допускают концентрацию ресурсов и благ в немногих руках, если немногим было позволено наживаться за счёт многих и до технологического прогресса, то с его приходом эти возможности станут только шире. Пока одни люди будут заняты работой над собой, над решением научных, технических и творческих задач, социальных, экономических и политических проблем — то есть, работать на благо других, те, кто заняты обманом, эксплуатацией и поиском наживы — то есть, работой на благо себя, будут иметь над ними преимущество. И каждая мощная новинка технологического прогресса будет его усиливать.

Эта закономерность выходит за пределы интернета и IT, и относится к технологическому прогрессу в принципе. В течение всей истории, люди вели войны — но мечтали о мире. Казалось, что достигнуть мира можно победами в войнах — поэтому человечество бесконечно совершенствовало военное дело и изобретало всё новые виды оружия. Пока не дошло до изобретения ядерного оружия, которое показало, что победы в войнах не ведут к миру. Ядерное оружие позволяет победить в любой войне — но ценой уничтожения мира как такового. С появлением ядерного оружия стала очевидна тупиковость войн (то есть, эскалации) как механизма разрешения конфликта: в конце цикла эскалации оказался конец света, а не мир. Таким образом, в международные отношения стало приходить понимание, что залог мира — не в том, чтобы побеждать в войнах, а в том, чтобы их не допускать. То есть, надо что-то фундаментально менять в отношениях стран между собой, чтобы нужда в войне как инструменте разрешения конфликтов, исчезла как таковая.

Изобретение искусственного интеллекта может стать ядерным оружием технологического прогресса не в антиутопичном смысле «восстания машин», а в смысле завершения гонки вооружений человеческих умений: обучаясь на человеческом опыте, ИИ может (или скоро сможет) писать тексты и музыку как профессиональные авторы, поэты и композиторы, диагностировать опухоли как самые лучшие врачи и лучше, врать — как самые лучшие лжецы, и красть как самые лучшие воры. И, покуда в обществе действуют стимулы, чтобы врать и воровать — это поведение никуда не денется с появлением ИИ, а, наоборот, станет на этом, технологическом уровне проблемы, непобедимым.

А, значит, в квесте по обретению социальной справедливости и экономического благополучия человечеству придётся вернуться к первому шагу, и всё-таки задуматься о том, как перестроить социально-экономические отношения без надежды, что их можно просто игнорировать до тех пор, пока какое-нибудь изобретение само собой всё не исправит. Появление изобретения, которое любого мошенника может усилить всем опытом и навыками всех остальных мошенников, хакера — опытом и умениями всех хакеров, вора — опытом и умением всех воров, возвращает человечество к сути проблемы: почему люди выбирают путь обмана, мошенничества, насилия, что их на это толкает и что им это даёт — и как искоренить стимулы для плохого, деструктивного с точки зрения общего блага, поведения человека, стимулируя поведение хорошее, социально-экономически конструктивное. Иными словами, лучшее, что может для человека сделать ИИ — это показать, что убежать от своей природы невозможно, нужно вернуться и разобраться в себе.