Чешский писатель Карел Чапек в 1920 году написал пьесу R.U.R. (Rossum’s Universal Robots, “Россумские универсальные роботы”), в котором подарил миру слово «робот». В его пьесе всё начинается с искусственных людей – роботов, которые трудятся на фабриках и производят недорогие товары. А заканчивается всё тем, что роботы уничтожают человечество. Так и родился долгоживущий сюжет НФ: роботы выходят из-под контроля и превращаются в неудержимые машины для убийства. Литература и кино 20 века продолжают снабжать нас примерами роботов, разрушающих мир, а Голливуд постоянно превращает его во франшизы-блокбастеры: Матрица, Трансформеры, Терминатор.

В последнее время страх превращения фантастики в реальность поддерживается стечением обстоятельств, среди которых – усовершенствования ИИ и робототехники, распространение военных беспилотникови наземных роботовв Ираке и Афганистане. Крупнейшие державы разрабатывают интеллектуальные вооружения с разными степенями автономии и летальности. Большинство из них в скором времени будут удалённо контролироваться людьми, без команды которых робот не сможет нажимать на спусковой крючок. Но, скорее всего,– а по мнению некоторых, даже вне всякого сомнения,– в какой-то момент роботы смогут действовать полностью автономно, и в военном деле будет перейдён Рубикон: впервые набор микрочипов и ПО будет решать, жить человеку или умереть.

Неудивительно, что угроза появления роботов-убийц, как их ласково прозвали, привела к страстным дебатам. По разные стороны спора находятся те, кто боится, что автоматическое оружие начнёт всеобщую войну и уничтожит цивилизацию, и те, кто утверждает, что новое оружие – всего лишь очередной класс оружия точного наведения, который уменьшит, а не увеличит количество жертв. В декабре более ста стран будут обсуждать этот вопрос на встрече НАТО по разоружению в Женеве.

Беспилотник, контролируемый людьми

Пушка «Фаланга», способная стрелять самостоятельно

В прошлом году подобное обсуждение попало в новостные ленты, когда группа ведущих исследователей ИИ призвала запретить «автономные наступательные вооружения, работающие без осмысленного контроля человека». В открытом письмена международной конференции по ИИ группа исследователей отметила, что такое оружие может привести к международной гонке ИИ-вооружений и быть использовано для заказных убийств, дестабилизации наций, подавления народов и выборочного уничтожения этнических групп.

Письмо подписало более 20000 человек, включая таких известных личностей, как физик Стивен Хокинг и предприниматель Илон Маск. Последний в прошлом году пожертвовал $10 миллионов бостонскому институту, занимающемуся защитой жизней людей от гипотетической угрозы недоброжелательного ИИ. Учёные, организовавшие написание письма – Стюарт Рассел из Калифорнийского университета в Беркли, Макс Тегмарк из MIT и Тоби Уолш из Университета Нового Южного Уэльса в Австралии – развёрнуто объяснили свою позицию в статье для журнала IEEE Spectrum. Например, по одному сценарию возможно появление «на чёрном рынке большого количества недорогих микророботов, которые могут быть размещены одним человеком, а убить смогут тысячи или миллионы людей, подходящих под критерий пользователя».

Также они добавили, что «автономное оружие способно стать оружием массового поражения. Одни страны могут запретить его использование, а другие страны, и, конечно, террористы, вряд ли смогут от него отказаться».

Вряд ли можно сказать, что новая гонка вооружений, в результате которой могут появиться интеллектуальные, автономные и мобильные машины для убийства, послужит на благо всего человечества. Тем не менее, эта гонка уже началась.

Автономное оружие существует уже несколько десятилетий, хотя редкие его образчики пока использовались в основном для обороны. Один пример – «Фаланга», пушка, управляемая компьютером и направляемая радаром, и установленная на боевых кораблях ВМФ США. Она может автоматически обнаруживать, отслеживать, оценивать и стрелять по приближающимся ракетам и летательным аппаратам, которые она посчитает угрозой. В полностью автономном режиме вообще не требуется участие человека.

Дрон Harop уничтожает цель

Компания DoDAAM Systems показывает возможности робота-часового Super aEgis II

Недавно военные разработчики начали создавать и наступательных автономных роботов. Компания Israel Aerospace Industriesизготовила беспилотники Harpy и Harop, которые наводятся на радиоизлучение вражеских систем ПВО и уничтожают их путём столкновения. Компания утверждает, что её БПЛА неплохо продаются по всему миру.

Южнокорейская компания DoDAAM Systems разработала робота-часового Super aEgis II. Он стреляет из пулемёта, и использует компьютерное зрение для обнаружения и стрельбы по целям (людям) на расстоянии в 3 км. Утверждается, что южнокорейские военные проводили тесты этих роботов в демилитаризованной зоне на границе с Северной Кореей. DoDAAM уже продала 30 таких устройств в другие страны, включая нескольких заказчиков с Ближнего Востока.

Сейчас систем с высокой степенью автономности достаточно мало, по сравнению с роботизированным оружием, контролируемым людьми почти всё время, и в особенности – во время стрельбы. Аналитики предсказывают, что по мере развития военного дела у оружия будет появляться всё больше автономных возможностей.

«Война будет совсем другой, а автоматизация сыграет свою роль там, где важна скорость»,– говорит Питер Сингер, эксперт по военным роботам в группе New America, не принадлежащей к политическим партиям, и расположенной в Вашингтоне. Он прочит, что в будущих битвах – как, например, в сражениях между разными БПЛА, или при встрече автоматического корабля с автоматической подводной лодкой – оружие, имеющее преимущество в доли секунды, решит исход сражения.

«Может случиться внезапный и интенсивный конфликт, в котором просто не будет времени вводить людей в курс дела, поскольку всё решится за считанные секунды».

Штатовские военные описали свои долгосрочные планыпо ведению войн нового типа с использованием беспилотных систем, но собираются ли они вооружать эти системы, пока неизвестно. На форуме Washington Post в марте заместитель министра обороны США Роберт Ворк, в чьи обязанности входит следить за тем, чтобы Пентагон не отставал от новейших технологий, указал на необходимость инвестиций в разработку ИИ и роботов. По его словам, увеличивающееся присутствие автономных систем на поле боя «неизбежно».

По поводу автономного оружия Ворк настаивает, что военные США «не передадут машине полномочия по принятию решений с летальным исходом». Однако сам же добавил, что «если появится соперник, готовый передать такие полномочия… нам придётся принимать решения по вопросу конкуренции с ним. Мы ещё не разобрались в этом окончательно, но мы много думаем на этот счёт».

Владимир Путин наблюдает за военным киборгом на квадроцикле во время прошлогодней демонстрации

Первый полёт БПЛА CH-5 китайской компании China Aerospace Science and Technology Corporation

Россия и Китай придерживаются схожей стратегиив разработке беспилотных боевых систем для действий на суше, в море и воздухе, которые, хотя и вооружены, но пока что зависят от живых операторов. Русская Платформа-М – небольшой робот с дистанционным управлением, оснащённый автоматом Калашникова и гранатомётом. Он похож на штатовскую систему Talon SWORDS – наземного робота, способного нести М16 и другие виды вооружения, который был протестирован в Ираке. Россия также построила беспилотный аппарат Уран-9, вооружённый 30-мм пушкой и управляемыми противотанковыми ракетами. А в прошлом году русские продемонстрировали военного робота-гуманоида Путину.

Растущий арсенал военных роботов Китая включает множество дронов для атаки и рекогносцировки. CH-4 – БПЛА длительного действия, напоминающий штатовский Predator. Divine Eagle – высотный беспилотник для охоты на стелс-бомбардировщики. Кроме этого, на разных военных презентациях в Китае показывали роботов с автоматами, похожие на Platform-M и Talon SWORDS.

Эти три страны приблизились к созданию вооружённых роботов, и, увеличивая их автономность, одновременно подчёркивают сохранение роли людей в их работе. Для запрета автономных вооружений появится серьёзная проблема: он не обязательно будет применим к почти автономному оружию. Военные всегда могут скрытно разработать вооружённых роботов, которые управляются людьми, но по нажатию на кнопку переходят в автономный режим. «Для роботов очень сложно будет навязать соглашение об ограничении вооружений»,– заключает Уэндел Уоллак [Wendell Wallach], эксперт по этике и технологиям из Йельского университета.

«Разница между автономными и неавтономными вооружениями может заключаться всего в одной строчке кода»,– сказал он на одной из конференций.

В фильмах роботы подчас становятся удивительно автономными, вплоть до обретения сознания практически на пустом месте, что застаёт людей врасплох. В реальном мире, несмотря на всеобщую взбудораженность прогрессом машинного обучения, роботы обретают автономность постепенно. Того же можно ожидать и от автономного вооружения.

Антология роботов-убийц

«R.U.R» 1920 года – не только первые роботы, но и первое их восстание

«2001: космическая одиссея» (1968). Один из самых отъявленных злых ИИ, бортовой компьютер космического корабля

«Мир дикого запада» (1973). Роботы в парке развлечений слетают с катушек

«Бегущий по лезвию» (1982). Банда репликантов прибывает в Лос-Анджелес

«Терминатор» (1984). Канонический образ робота-убийцы Т-800 в исполнении Арнольда Шварценеггера

Робокоп (1987). В фильме плохиши – богатые и жадные дядьки, но двуногий тяжеловооружённый робот тоже немало резвится.

Матрица (1999). Разумные машины захватили мир и используют страшноватых роботов для охоты на людей

«Звёздный крейсер Галактика» (2004). Циклоны, человекоподобные роботы, вознамерились стереть человечество с лица галактики

Я, робот (2004). Гуманоидные роботы, обойдя Три закона робототехники, устраивают заваруху в Чикаго

Трансформеры (2007). Банда роботов-пришельцев под руководством Мегатрона пытается изничтожить всех людишек

«Часто, когда люди слышат про автономное оружие, они представляют Терминатора и начинают говорить „Что же мы наделали?“,– говорит Пол Скарре [Paul Scharre], руководитель программы будущего военного дела в Центре новой американской безопасности–исследовательской группе в Вашингтоне. „Но делать такого рода автономное оружие военные вряд ли захотят“. По его словам, скорее всего, автономные системы будут атаковать военные объекты типа радаров, танков, кораблей, подлодок и самолётов.

Задача идентификации цели – определения, принадлежит ли объект врагу – одна из самых критичных задач для ИИ. У движущихся целей, самолётов и ракет, есть траектория, которую можно отследить и принять на её основе решение о попытке сбить объект. Так работает пушка „Фаланга“ на военных кораблях США, и так же – израильская система перехвата ракет „Iron Dome“. Но при выборе людей в качестве цели эта идентификация усложняется. Даже в идеальных условиях задачи распознавания объектов и окружения, с которыми люди справляются постоянно, могут быть чрезмерно сложны для роботов.

Компьютер может различить фигуру человека, даже если тот двигается скрытно. Но алгоритму сложно понять, чем заняты люди, и какие намерения выдают их язык тела и мимика. Поднимает человек ружьё или грабли? У него в руках бомба или младенец?

Скарре утверждает, что роботизированное оружие, пытаясь выбрать цель самостоятельно, спасует перед лицом сложностей. По его мнению, лучшим подходом, с точки зрения безопасности, законности и этичности, остаётся разработка таких тактики и технологий, в которых люди работают с роботами вместе.

„Военные могут вкладываться в передовую робототехнику и автоматизацию, но при этом оставить человека в цепочке управления для принятия решений о целях, для подстраховки“,– говорит он. „Ведь люди гибче и лучше адаптируются к новым ситуациям, которые мы можем не запрограммировать. Особенно это важно на войне, где существует противник, пытающийся победить ваши системы, обмануть их и хакнуть“.

Неудивительно, что южные корейцы из DoDAAM производят своих роботов-часовых с жёсткими ограничениями на автономность. Сейчас их роботы не будут стрелять, пока человек не подтвердит цель и не скомандует „огонь“.

„В изначальной версии была система автоматического огня“,– рассказал в прошлом году BBCинженер компании. „Но все клиенты попросили встроить в неё предохранительные процедуры… Они беспокоились, что пушка может ошибиться“.

Другие эксперты считают, что единственным способом избежать смертельных ошибок автономного оружия, особенно включающих гражданских лиц, является составление соответствующих программ.

„Если мы настолько глупы, что продолжаем убивать друг друга на поле боя, и если машинам будет передаваться всё больше полномочий – можем ли мы, хотя бы, удостовериться, что они делают свою работу с соблюдением этики?“,– говорит Рональд Аркин, IT-специалист из Технологического института в Джорджии.

Аркин уверен, что автономное оружие, как и солдаты, должно следовать правилам ведения боя и законам войны, включая международные гуманитарные законы, защищающие гражданских лиц и ограничивающие мощность и виды допустимых вооружений. Это значит, что мы должны внести в их программы некие моральные качества, чтобы они разбирались в разных ситуациях и отличали хорошее от плохого. В их ПО должен быть заложен некий этический компас.

В последние десять лет Аркин трудится над таким компасом. Используя инструменты математики и логики из области машинной этики, он переводит законы войны и правила ведения боя в переменные и операции, понятные компьютеру. К примеру, одна из переменных содержит значение уверенности блока этического контроля в том, что цель является вражеской. Другая, булевская, означает, разрешена или запрещена убийственная сила оружия. В конце Аркин пришёл к определённому набору алгоритмов, и при помощи компьютерных симуляций и упрощённых сценариев сражений – к примеру, БПЛА атакует группу людей в открытом поле – смог протестировать свою методику.

Аркин признаёт, что проект, спонсируемый ВС США, ещё не дошёл до стадии готовой системы, и создан лишь для доказательства её работоспособности. Но, по его мнению, результаты работы показывают, что роботы ещё лучше людей могут следовать правилам войны. К примеру, роботы могут выполнять угрожающие жизни действия с большей сдержанностью, чем люди, стреляя только в ответ. Или, при приближении гражданских лиц, они вообще могут прекратить огонь, даже если сами будут уничтожены. Роботы не страдают от стрессов, неудовлетворённости, злости, страха – а всё это может навредить принятию правильных решений у людей. Поэтому, в теории, роботы могут превзойти солдат-людей, которые часто, а порою и неизбежно, делают ошибки в пылу битвы.

»В итоге мы можем сохранить людские жизни, особенно жизни невинных людей, попавших в ловушку боя",– говорит Аркин. «И если роботы справятся с этим, то мораль подсказывает необходимость их использования».

Конечно же, такой взгляд не является общепринятым. Критики автономного оружия настаивают, что имеет смысл только его упреждающий запрет. Ведь такое оружие появляется негласно.

«Нет такой системы огня, на которую бы мы могли показать и сказать: Ага, вот он робот-убийца,– говорит Мэри Варехэм [Mary Wareham], руководитель отдела лобби в Human Rights Watch и координатор кампании по запрету роботов-убийц (Campaign to Stop Killer Robots) – коалиции разных гуманитарных сообществ. – Речь идёт о множестве различных систем вооружений, которые работают по-разному. Но нас волнует одна их общая черта – отсутствие человеческого контроля над функцией выбора цели и атаки».

В ООН обсуждения автономных роботов, способных на убийство, длятся уже пять лет, но страны так и не пришли к соглашению. В 2013 Кристов Хайнс [Christof Heyns], специальный докладчик ООН по правам человека, написал влиятельный отчёт, в котором отметил, что у стран есть редкая возможность обсудить риски автономного оружия ещё до того, как оно будет разработано. Сейчас, приняв участие в нескольких заседаниях ООН, Хайнс говорит, что «если обернуться назад, то я несколько ободряюсь, а если посмотреть вперёд, то кажется, что у нас будут проблемы, если мы не начнём шевелиться быстрее».

В этом декабре на конвенции ООН по классическому вооружениюсостоится конференция с обзором пятилетней работы, и вопрос автономных роботов вынесен на повестку дня. Но их запрет вряд ли будет принят. Такое решение потребует единогласного решения всех стран, а между ними существуют фундаментальные разногласия по поводу того, что делать с широким спектром автономного оружия, которое появится в будущем.

В итоге, споры про роботов-убийц сводятся к обсуждению людей. Автономное оружие, по крайней мере, на первых порах, будет похоже на любую технологию: её можно будет вводить аккуратно и благоразумно, или хаотично и катастрофически. А обвинения придётся принимать людям. Поэтому, вопрос

«Являются ли автономные боевые роботы хорошей идеей?» не самый правильный. Лучше задать вопрос: «Доверяем ли мы себе достаточно для того, чтобы доверять наши жизни роботам?»