Автор: Юрий Зарубин. Публикация отрытого письма с требованием ввести полугодовой мораторий на развитие технологий искусственного интеллекта превосходящих Chat GPT-4 повысила интерес к проблеме потенциальных угроз, источником которых выступает сильный искусственный интеллект. Тем не менее стоит учитывать, что существуют угрозы, связанные с самой возможностью возникновения подобного интеллекта, которые потенциальном могут реализоваться до и вне зависимости от его создания.

Введение

Различные исследователи из областей непосредственно не связанных с информационными технологиями все чаще обращают свое внимание на потенциальные проблемы безопасности, связанные с использованием «умных» технологий и, тем более, с перспективным развитием сильного искусственного интеллекта.

До последнего времени основное внимание уделялось анализу прямых угроз вывода сильного искусственного интеллекта из-под контроля человечества и косвенных рисков, связанных с распространением и доступностью потенциально критических технологий (Krakovna, 2022; Yudkowsky, 2008, 2022).

В течение длительного периода исследования в области безопасности искусственного интеллекта, скорее можно было назвать маргинальными. На фоне длительной «зимы ИИ» можно избегать разработки политик безопасности поскольку сама возможность существования этой критической технологии считалась большинством экспертов политического и экономического сектора достаточно отдаленной и спорной.

Тем не менее этот период, скорее всего, подходит к концу — угроза, исходящая от искусственного интеллекта, была упомянута в итоговом отчете Мюнхенской конференции по безопасности (Ischinger, 2019) – крупнейшей международной политической конференции по безопасности. Таким образом этот риск сейчас рассматривается не только футурологами и небольшим сообществом специалистов по кибербезопасности, но и становится актуальным в контексте международной безопасности.

По этой причине становиться все более важным не потенциальный конфликт будущего интеллекта с человечеством (Wong et al., 2020), а предшествующий ему вполне человеческий конфликт по поводу контроля, ограничения, а возможно, и нераспространения критических информационных технологий. Подобная политика в настоящий момент уже действует по отношению к критическим ядерным и биологическим технологиям и можно предположить, что найдутся желающие расширить перечень технологий подлежащих политическому контролю.

Традиционно основным методом решения таких задач выступает математическая теория игр. Стратегия потенциального сдерживания сильного искусственного интеллекта также разрабатывалась в логике теории игр. По этой причине предлагаю следовать ей и в моделировании предшествующего конфликта.

За пределами технологической политики

Сразу стоит отдельно отметить, что имеет смысл оценивать не объективную вероятность разработки сильного искусственного интеллекта в конкретный промежуток времени, а субъективную оценку этого события различными сообществами и отдельными лицами принимающими решения, а также их представления о наступлении последствий развития этой технологии и связанных с ней рисках. В рамках социологии этот феномен описывается теоремой Томаса (Meri’On, 1995), которая говорит о том, что последствия человеческого поведения определяются не реальностью, а субъективными представлениями о ней.

Полагаю, что именно в контексте стоит рассмотреть открытое письмо посвященное приостановке разработки моделей превосходящих по мощности GPT-4 (“Pause Giant AI Experiments,” 2023). Как я уже писал ранее на Хабре уже был посвященный ему отдельный пост, к сожалению не отличающийся полнотой анализа. Фактически речь идет соблюдении принципа предосторожности которому уже следует ООН и ЕС (European Parliament. Directorate General for Parliamentary Research Services., 2016; Fenstad & Matsuura, 2005) и формировании экспертным сообществом технологической политики безопасности или, если точнее, доктрины в области ИИ. В рамках этой доктрины, во-первых, предлагается обеспечить независимый контроль соблюдения протоколов безопасности лабораторий работающих с ИИ. Во-вторых, формирование публичной технологической политики в области ИИ и соответствующих политических институтов направленных на ограничение потенциального ущерба от злоупотребления технологиями.

К сожалению, подобный подход имеет не только положительные стороны, но и может привести к дополнительному росту рисков связанному с включение в цепочки принятия решений большого количества лиц не обладающих достаточной технической и научной квалификацией в этой области и воспринимающими угрозы ИИ в логике средневекового мифа о Големе. Нечто подобное с включением политических элит в развитие медицинских технологий можно было наблюдать в кейсе «Theranos» (Haroun, 2023). Полагаю, что можно ожидать иррационального поведения и в случае с ИИ, тем более, что некоторые тенденции наблюдаются уже сейчас (Rogers, 2023).

Подводя промежуточный итог можно сказать, что уже сейчас, вне зависимости от реального достижения критического уровня развития технологии искусственного интеллекта отношение к этим технологиям и ожидания от их внедрения становятся значимым социальным и политическим вопросом, который исследуется профильными агентствами (What Americans Think about ChatGPT and AI-Generated Text | YouGov, 2023) и может быть использован для принятия критически важных не технических, но экономических и политически решений.

Стратегическая дилемма предшествующая потенциальному появлению сильного ИИ

Озабоченность рисками связанными с развитием технологий искусственного интеллекта растет. Следует ожидать, что будет расти количество попыток различных участников процесса как-то повлиять на эти риски. При этом, вероятно, целесообразно учитывать не только экзистенциальные риски (Bostrom, 2002; Bucknall & Dori-Hacohen, 2022; Meri’On, 1995) связанные с ИИ, но и риски связанные потенциальной нейтрализацией угрозы ИИ – именно про это говорить Петер Тиль в своей речи на юбилейном двухсотлетнем собрании Оксфордского союза (Oxford Union, 2023). В этом выступлении он полемизирует с философом Ником Бостромом и его концепцией уязвимого мира (Bostrom, 2019.) На Хабре ранее была опубликована статья с переводом этого выступления, а эта публикация содержит частичный русскоязычный пересказ и критику оригинальной статьи Бострома.

Итак, можно выделить три рассматриваемых сценария:

1. Тотальный контроль общества с помощью технологий искусственного интеллекта;
2. Тотальный контроль общества с помощью технологий ограниченного искусственного интеллекта для недопущения развития сильного искусственного интеллекта;
3. Тотальный контроль общества независимым сильным искусственным интеллектом.

Первый сценарий в настоящий момент постепенно реализуется в Китае (Beraja et al., 2020, 2021). Реализовать второй предлагает Ник Бостром в своей статье (Bostrom, 2019.). Публикация в Голой науке достаточно наглядно демонстрирует отношение к подобным идеям в русскоязычной среде. Хотя встречаются и серьезные попытки применить философию Древнего Китая к ИИ(Song, 2020).Третий сценарий присутствует в культуре по умолчанию и по этой причине я не буду детально на нем останавливаться.

В свое время Стивен Хокинг предположил, что относительные краткосрочные риски связаны с тем, кто будет контролировать первый искусственный интеллект, а долгосрочные риски — с тем, удастся ли его вообще удержать (The Independent, 2014). В логике минимизации риска этой угрозы в настоящее время принимаются законы, направленные на максимально безопасное для человечества развитие технологий, связанных с искусственным интеллектом. К настоящему моменту сформировались аналитические центры на базе североамериканских университетов планомерно занимающиеся исследованиями в области безопасности ИИ. Кроме того, еще раз стоит отметить существующий научный консенсус о том, что теория игр является одним из самых мощных (если не единственным) на данный момент инструментов прогнозирования рисков в области потенциального взаимодействия с сильным искусственным интеллектом.

Итак, проблема искусственного интеллекта значительна и может быть обозначена как «Технологическая сингулярность» или «Технологический Джокер». Однако в настоящий момент мне хотелось бы обратить внимание не непосредственно на проблемы, связанные с потенциальным взаимодействием с сильным искусственным интеллектом после наступления так называемой точки «Технологическая Сингулярность», а на стратегическую стабильность в точке, предшествующей этому состоянию.

С экономической точки зрения наступление «Технологическая сингулярность» можно сравнить вне зависимости от школы или сценария, в контексте которого оно трактуется с «Черным лебедем». Таким образом принятие стратегических решений в таких условиях имеет ряд особенностей:

1. Высокий уровень неопределенности, неполноты и асимметрии доступа к данным и их интерпретации;
2. Чрезвычайно высокие и совершенно неизвестные риски для всех агентов;
3. Чрезвычайно высокая потенциальная скорость изменений;
4. Ограниченная рациональность лиц, принимающих стратегические решения;
5. Отсутствие прямых исторических аналогий в прошлом.

Вышеописанные характеристики подробно рассматриваются в теории стратегического сдерживания. Продолжим поиск с этой точки зрения так называемой «точки наступления технологической сингулярности». Сохранение контроля над техникой, впервые полученной ее агентом, становится стратегическим преимуществом, сравнимым, как минимум, с возможностью нанесения «первого удара», собственно об этом пишет Бостром моделируя первый тип угрозы (Bostrom, 2019).

В противном случае, если вам не удастся сохранить контроль над созданной технологией, появится новый агент, имеющий стратегическое преимущество перед всеми предыдущими агентами. Этот агент может занять враждебную, нейтральную или дружественную позицию по отношению к человечеству. Таким образом, все возможные сценарии грозят резким и необратимым нарушением стратегического паритета для всех агентов.

В первом сценарии создание сильного, враждебного человеку искусственного интеллекта можно приравнять к созданию «Машины Судного Дня». Развитие событий во втором и третьем сценариях непредсказуемо и представляет собой наступление «технологической сингулярности». Таким образом, мы полагаем, что, во-первых, можно предположить, что развитие и запуск любой технологии, ведущей к наступлению «технологической сингулярности», можно рассматривать как ситуацию, сравнимую с угрозой нанесения первого ядерного удара.

Стоит отметить, что убеждения агентов в их способности сохранять контроль над критической технологией и их потенциальной неспособности различать враждебный, нейтральный или дружественный сценарий нового агента в случае потери контроля имеют решающее значение. Дело в том, что вероятно, не будет возможности достоверно проверить, к какому типу относится сильный ИИ и соответствует ли его декларируемый тип реальности.

Таким образом существующие социально-психологические аспекты стратегической стабильности и ядерного сдерживания дополняются новыми элементами неопределенности, повышающими риск развития взаимодействия по сценарию «проигравший-проигравший». Эти аспекты включают в себя страх перед тем, что человечество будет порабощено или уничтожено его творением, которое имеет глубокие корни, которые можно найти в мифологии.

Не исключено, что развитие такого сложного явления, как ИИ, будет восприниматься упрощено. Например, как сверх-интеллектуальный злобный ребенок или мифологический голем. Предпосылки к этому мы можем наблюдать уже сейчас в массовой культуре. Мы не знаем насколько они могут сыграть свою роль в момент наступления критической ситуации.

К сожалению, даже при ограниченном применении методов теоретико-игрового моделирования, разработанных в рамках теории стратегического сдерживания, к ситуации приближения к «технологической сингулярности» можно с уверенностью предположить существенное увеличение стратегических рисков, в том числе изменение оценки приемлемости применения ядерного оружия вверх, как среди населения, так и среди лиц, принимающих решения.

Вывод

Подводя краткий итог можно сказать, что представляет реальную угрозу не только сам сильный искусственный интеллект или применение этой технологии для установления контроля над гражданским обществом, или просто в военный целях. Сам риск появления у кого-то технологии меняющей правила игры может повысить риск нанесения упреждающего удара оп этой угрозе любыми имеющимися средствами.

Сильный искусственный интеллект, вероятно, может восприниматься именно такой угрозой вне зависимости от своего реального типа, поскольку он либо дает преимущество другой стороне и приводит ее к доминированию, либо сам становиться доминирующей независимой стороной. Таким образом вне зависимости от того какие новые правила игры будут установлены отстающая сторона теряет свой суверенитет, что может ей рассматриваться как неприемлемый риск и быть достаточным основанием для нападения с использованием всех имеющихся средств.

P.S. Отдельно хотелось бы отметить, что это не политическая статья, но статья о критических аспектах технологической политики в области ИИ.

Список литературы

1. Beraja, M., Kao, A., Yang, D., & Noam Yuchtman. (2021). AI-tocracy. Discussion Paper, 1811, 85.
2. Beraja, M., Yang, D. Y., & Yuchtman, N. (2020). Data-intensive Innovation and the State: Evidence from AI Firms in China (No. w27723). National Bureau of Economic Research. https://doi.org/10.3386/w27723
3. Bostrom, N. (2002). Existential Risks. Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, 9.
4. Bostrom, N. (2019). The Vulnerable World Hypothesis. Global Policy, 10(4), 455–476. https://doi.org/…8-5899.12718
5. Bucknall, B. S., & Dori-Hacohen, S. (2022). Current and Near-Term AI as a Potential Existential Risk Factor. arXiv.org. https://doi.org/…4094.3534146
6. Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk? https://arxiv.org/…2206.13353v1
7. European Parliament. Directorate General for Parliamentary Research Services. (2016). The precautionary principle: Definitions, applications and governance : in depth analysis. Publications Office. https://data.europa.eu/….2861/821468
8. Fenstad, J. E., & Matsuura, K. (2005). The Precautionary Principle; 2005.
9. Haroun, A. H., Sarah Jackson, Azmi. (2023). The rise and fall of Elizabeth Holmes, the former Theranos CEO found guilty of wire fraud and conspiracy who is now trying to delay her prison sentence after having her second child. Business Insider. https://www.businessinsider.com/…y-bio-2018-4
10. Ischinger, W. (Ed.). (2019). Munich Security Report 2019. The Great Puzzle: Who Will Pick Up the Pieces? (p. 102). www.securityconference.de
11. Krakovna, V. (2022). DeepMind alignment team opinions on AGI ruin arguments. https://www.alignmentforum.org/…in-arguments
12. Meri’On, R. K. (1995). The Thomas Theorem and The Matthew Hfed? Social Forces, 74(2), 379–424.
13. Oxford Union (Director). (2023). Peter Thiel on “Anti-Anti-Anti-Anti Classical Liberalism” | Oxford Union. https://www.youtube.com/watch?…
14. Pause Giant AI Experiments: An Open Letter. (2023). Future of Life Institute. https://futureoflife.org/…experiments/
15. Rogers, A. (2023). The new Bing is acting all weird and creepy—But the human response is way scarier. Business Insider. https://www.businessinsider.com/…thics-2023-2
16. Song, B. (2020, August 20). Applying Ancient Chinese Philosophy To Artificial Intelligence. NOEMA. https://www.noemamag.com/…intelligence
17. Stephen Hawking: ’Are we taking Artificial Intelligence seriously. (2014, May 1). The Independent. https://www.independent.co.uk/…9313474.html
18. What Americans think about ChatGPT and AI-generated text | YouGov. (2023). https://today.yougov.com/…-and-ai-text
19. Wong, Y., Yurchak, J., Button, R., Frank, A., Laird, B., Osoba, O., Steeb, R., Harris, B., & Bae, S. (2020). Deterrence in the Age of Thinking Machines. RAND Corporation. https://doi.org/10.7249/RR2797
20. Yudkowsky, E. (2008). Artificial Intelligence as a positive and negative factor in global risk. In E. Yudkowsky, Global Catastrophic Risks. Oxford University Press. https://doi.org/…509.003.0021
21. Yudkowsky, E. (2022). AGI Ruin: A List of Lethalities. https://www.alignmentforum.org/…-lethalities