Антиутопия, в которой роботы-убийцы уничтожают невинных людей, звучит ужасно, но давайте скажем прямо: это всё научная фантастика

Дроны-убийцы, попавшие в руки террористов, устраивают резню невинных людей. Роботизированное оружие массового уничтожения сеет хаос и страх. Короткометражка, созданная сторонниками запретов автономного вооружения, создана, чтобы заставить вас поверить в то, что эта антиутопия уже совсем близко, и что надо принимать меры уже сегодня. Фильм Slaughterbots [Резнеботы] вышел в ноябре 2017, одновременно с конференцией ООН по автономным вооружениям. Встреча ООН не закончилась ничем конкретным, но видео набирает популярность. Его уже просмотрело более 2 млн человек и оно попало в десятки статей. В качестве пропаганды оно работает идеально. А с убеждением принять запрета на автономное вооружение оно совершенно не справляется.

Кадр из фильма Slaughterbots, в котором в антиутопическом будущем автономные дроны-убийцы попадают в руки террористов

Конечно, мир, в котором террористы могут напустить рой дронов-убийц на невинных людей, был бы ужасен, но реалистично ли будущее, показанное в фильме? Красивая картинка помогает скрыть пробелы в логике. Фильм погружает зрителя в антиутопический кошмар, но давайте скажем прямо: это всё научная фантастика.

Главное предположение фильма состоит в том, что в будущем военные создадут автономные микродроны с кумулятивными зарядами, способные подлететь к голове человека и активировать взрывчатку, тем самым убивая его. В фильме эти боты-убийцы быстро попадают в руки террористов, что приводит к массовому количеству смертей по всему миру.

Главная концепция имеет основу в реальности. В нашем мире Исламское государство [запрещённая в РФ террористическая организация] использовало готовые покупные квадрокоптеры, оборудованные небольшим количеством взрывчатки, для атаки иракских войск, в результате чего погибло и было ранено несколько десятков солдат. Сегодняшние дроны у террористов в основном управляются дистанционно, но любительские дроны приобретают всё больше самостоятельности. Последние модели уже умеют долететь до фиксированной цели самостоятельно, огибая препятствия, а также самостоятельно отслеживать и следовать за движущимися объектами. Небольшой дрон, оборудованный системой распознавания лиц, в принципе можно использовать для автономного поиска и уничтожения определённых людей, как это показывает кино Slaughterbots. Всего за несколько минут поиска в интернете я нашёл ресурсы, где можно скачать и натренировать бесплатную нейросеть, которая будет распознавать лица. И хотя пока ещё никто не совмещал эти технологии, как показано в кино, все компоненты уже реальны.

Но я хочу сделать заявление: мы никак не сможем помешать этой технологии попасть в руки будущих террористов. Это грустно, но это необходимо понять. Точно так же, как террористы могут и используют автомобили для тарана толп людей, технология, необходимую для превращения любительских дронов в грубое автономное оружие, уже слишком распространена для того, чтобы её можно было остановить. Это проблема, и лучшей реакцией на неё будет сконцентрироваться на защитных мерах, позволяющих противостоять дронам и ловить террористов при помощи систем наблюдения. "

Фильм использует эту проблему, но раздувает её сверх меры, утверждая, что дроны могут быть использованы террористами как оружие массового поражения, и убивать людей тысячами. К счастью, этот кошмарный сценарий настолько же вероятен, как HAL 9000, блокирующий вам вход в шлюз. Показанные в видео технологии реалистичны, но всё остальное — это полная чушь. В видео делаются следующие предположения:

• Правительства запустят массовое производство микродронов для использования их в качестве оружия массового поражения.
• Против смертельных микродронов не существует эффективной защиты.
• Правительства неспособны защитить оружие армейского уровня от террористов.
• Террористы способны запускать крупномасштабные координированные атаки.

Эти предположения разнятся от спорных до фантастических.

Конечно, само видео — выдумка, а люди, отвечающие за разработку оборону, часто используют выдуманные сценарии, чтобы помочь политикам продумать последствия вероятных событий. Я — аналитик оборонки, работающий в мозговом центре, а на предыдущей работе в Пентагоне я занимался стратегическим планированием. И я использовал вымышленные сценарии, чтобы проиллюстрировать выбор военных технологий, в которые военным США следует вкладываться. Но чтобы эти сценарии были полезными, они должны быть хотя бы вероятными. Это должно быть что-то, что может случиться. Сценарий, использованный в фильме Slaughterbots, неспособен учесть политическую и стратегическую реальность использования военных технологий правительством.

Во-первых, нет никаких свидетельств того, что правительства планируют массовое производство мелких дронов для убийства гражданских лиц в больших количествах. В моей готовящейся книге Army of None: Autonomous Weapons and the Future of War [Армия из никого: автономные вооружения и будущее войн], я исследую оружие будущих поколений, строящееся в оборонных лабораториях всего мира. Россия, Китай и США все соревнуются в гонке по автономности и искусственному интеллекту. Но они создают оружие, по большей части направленное на сражение с военными силами. Это оружие, направленное на поражение военных целей [counterforce], а не на поражение других активов, к которым причисляются и гражданские лица [countervalue]. У автономного оружия первого типа, конечно, есть свои проблемы, но оно не разрабатывается с целью массового уничтожения мирного населения, и его нельзя перенастроить на такое использование.

Во-вторых, в видео говорится о дронах, способных преодолеть любые «противодействия». Телевизионные эксперты кричат, что «мы не можем защитить сами себя». Это даже не выдумка, а фарс. Для каждой военной технологии существует противодействие, а противодействие мелким дронам даже нельзя назвать гипотетическим. Правительство США активно разрабатывает способы отстрела, глушения, поджаривания, взлома, отлова и других методов противодействия мелким дронам. Микродронам на видео можно успешно противостоять чем-то настолько простым, как проволочная сетка. На видео показаны тяжёлые дроны, пробивающие дыры в стенах, через которые проникают другие — но против этого может помочь простейшая многослойная защита. Военные аналитики смотрят на соотношение цены защиты и нападения, и в этом случае преимущество явно на стороне статической защиты.

В мире, где террористы периодически осуществляют нападения при помощи самодельных дронов, люди вряд ли будут мириться с неудобством создания надёжных оборонительных сооружений, точно так же, как люди не носят бронежилеты для защиты от маловероятного попадания под пули стрелка. Но если недружественная страна построит сотни тысяч дронов, способных стереть с лица земли город, можете быть уверены, что без сеток дело не обойдётся. Видео берёт реальную проблему: террористы, нападающие при помощи дронов — и масштабирует её без учёта реакции других сторон. Если бы началось производство смертельных микродронов в промышленных масштабах, защита и контрмеры против них стали бы государственным приоритетом, и в этом случае противодействия были бы простыми. А любое оружие, от которого можно защититься проволочной сеткой, оружием массового поражения не считается.

В-третьих, видео подразумевает, что военные неспособны предотвратить получение террористами доступа к вооружению армейского уровня. Но сегодня мы не даём террористам ручные гранаты, противотанковые ружья или пулемёты [правда, это утверждение опровергает даже последний биопик с Томом Крузом в главной роли / прим. перев.]. Террористы, нападающие при помощи дронов, волнуют всех потому, что они используют самодельную взрывчатку, приделанную к готовой технологии. Это реальная проблема, но опять-таки, видеоролик масштабирует эту угрозу до нереалистичных объёмов. Даже если бы военные и начали делать смертельные микродроны, террористы смогли бы получить большое их количество не легче, чем любые другие военные технологии. Оружие действительно постепенно попадает в руки участников военных действий, воюющих не с той стороны, но только оттого, что в Сирии полно противотанковых самонаводящихся ракет, не значит, что их легко встретить в Нью-Йорке. Террористы используют самолёты и грузовики именно потому, что успешно провезти контрабандой оружие армейского типа в западную страну не так-то просто.

Микродроны-убийцы из фильма

В-четвёртых, в видео предполагается, что террористы способны осуществлять нападение с невероятно точной координацией. В одном эпизоде два человека выпускают рой из 50 дронов из дверей фургона. Этот эпизод сам по себе довольно реалистичен; одна из проблем автономного оружия состоит в том, что небольшая группа людей может запустить атаку большего масштаба, чем если бы у них было обычное оружие. Фургон с 50 дронами — достаточно разумная возможность. Но фильм доводит идею до абсурда. Утверждается, что в одновременных атаках было убито порядка 8300 человек. Тогда, если люди с фургоном изображают типичную атаку, то для такого урона террористам надо было бы провести порядка 160 атак по всему миру. Террористы действительно часто выполняют координированные нападения, но их количество обычно не превышает десяти. А в видео предполагается не только наличие сверхоружия, но и то, что оно попало в руки к сверхзлодеям.

В фильме шумиха и страх используются для преодоления критических предположений, в результате чего он мешает рациональному обсуждению рисков, связанных с доступом террористов к автономному вооружению. Из видео становится ясно, что мы должны бояться. Но чего бояться? Оружия, выбирающего свои цели самостоятельно (по поводу этого, кстати, в видео не всё понятно)? Оружия без средств противодействия? Того, что террористы могут заполучить в свои руки оружие? Возможностей автономного оружия по увеличению масштаба атак? Если вы хотите вызвать страх перед роботами-убийцами, то это видео вам подойдёт. Но при попытке тщательного анализа проблемы оно не выдерживает даже простейшего изучения. Видео не даёт какие-то аргументы, а занимается созданием дешёвых сенсаций и нагнетанием страха.

Естественно, целью видео является побудить зрителей к действиям при помощи страха.

Видео оканчивается словами профессора из Калифорнийского университета в Беркли, Стюарта Рассела, предупреждающего об опасностях автономного оружия и призывающего зрителя действовать с тем, чтобы этот кошмар не стал реальностью. Я чрезвычайно уважаю Стюарта Рассела, как исследователя в области ИИ, так и человека, вносящего вклад в споры по автономному вооружению. Я приглашал Рассела на мероприятия в Центре новой Американской безопасности, где я занимаюсь исследовательской программой, связанной с ИИ и всемирной безопасностью. Не сомневаюсь, что взгляды Рассела искренни. Но видео в попытке убедить зрителя делает ничем не подкреплённые приложения.

Что ещё хуже, предлагаемое решение — договор о запрете автономного оружия — не решит реальные проблемы, встающие перед человечеством с развитием автономности у оружия. Запрет не остановит террористов от изготовления самодельных роботизированных вооружений. Также запрет на такое оружие, которое продемонстрировано в ролике, никак не повлияет на риски, связанные с появлением автономного вооружения у военных. На самом деле, даже непонятно, попадёт ли под подобный запрет оружие, показанное в фильме, потому что там оно действует очень выборочно.

Концентрируясь на крайних и маловероятных сценариях, фильм на самом деле мешает прогрессу в рассмотрении реальных проблем, связанных с автономным оружием. Государства, находящиеся среди лидеров разработки роботизированного оружия, скорее всего, отметут страхи, основанные на этом фильме. Фильм льёт воду на мельницу тех, кто утверждает, будто страх перед автономным вооружением иррационален и подвержен излишней шумихе.

Автономное оружие поднимает важные вопросы о подчинении законам войны, о риске и контролируемости, и о моральной роли людей в военных действиях. Это важные проблемы, достойные серьёзного обсуждения. Когда Рассел и другие включаются в оживлённые дебаты по этим вопросам, я приветствую такую дискуссию. Но указанный фильм не попадает в эту категорию. Видео успешно завладело вниманием СМИ, но его склонность к сенсациям мешает серьёзным интеллектуальным обсуждениям, которые необходимо проводить по теме автономного вооружения.

Пол Шарр — старший научный сотрудник, директор программы по технологиям и государственной безопасности в Центре новой американской безопасности (CNAS). С 2009 по 2012 руководил рабочей группой министерства обороны США, выработавшей директивы по использованию автономности в вооружении.