Правозащитники испугались восстания машин

Международная неправительственная организация Human Rights Watch совместно с Гарвардской школой права опубликовала доклад об опасности использования полностью автономных боевых роботов и роботизированных вооружений и призвала правительства всех стран отказаться от их разработки. Доклад организации представлен на 50 страницах, но его суть можно выразить одной фразой – самостоятельные роботы будут убивать всех без разбора. Военные же как раз настаивают на том, что искусственный интеллект и роботы позволят значительно снизить сопутствующий ущерб и число жертв среди гражданского населения.

Согласно докладу «Теряя человечность: Доводы против роботов-убийц» (Losing Humanity: The Case Against Killer Robots), подготовленному Human Rights Watch (HRW), полностью автономные боевые роботы или системы вооружения будут созданы и приняты на вооружение уже в ближайшие 20–30 лет. Их разработкой занимаются все более или менее технически развитые страны, в первую очередь США, больше других приблизившиеся к созданию самостоятельных дронов. Исключать человека из систем управления вооружением и военной техникой, по мнению авторов доклада, нельзя, потому что в этом случае будут нарушены сразу несколько положений международного гуманитарного права.

Законы военного времени

Проведя ряд исследований, HRW пришла к выводу, что «роботы суть механизмы, оснащенные возможностью воспринимать окружающий мир и действовать в соответствии с программой». Все они в той или иной степени обладают автономностью, то есть способны осуществлять какие-либо действия без вмешательства человека. Степень автономности у дронов может значительно отличаться в зависимости от модели. Условно роботов можно разделить на три категории:

1. «человек-в-системе-управления» (human-in-the-loop),
2. «человек-над-системой-управления» (human-on-the-loop) и
3. «человек-вне-системы-управления» (human-out-of-the-loop).

Первая категория подразумевает, что некая беспилотная машина может самостоятельно обнаруживать и выбирать цели, однако решение об их уничтожении принимает только человек-оператор. Ко второй категории относятся системы, способные самостоятельно обнаруживать и выбирать цели, а также принимать решения об их уничтожении, но человек-оператор, выполняющий роль наблюдателя, в любой момент может вмешаться в эту цепочку. Наконец, в третью категорию HRW включила роботов, способных обнаруживать, выбирать и уничтожать цели вообще без человеческого вмешательства.

С точки зрения международного гуманитарного права, именно последняя категория автономных боевых систем представляет наибольшую опасность для гражданского населения в зоне военного конфликта. В конце концов, большая часть международных «законов войны» посвящена именно защите гражданского населения от последствий военных действий. По оценке HRW, автономные боевые роботы не только не соответствуют требованиям международного гуманитарного права, но также могут спровоцировать дальнейшие его нарушения или даже вовсе отказ от существующих конвенций и договоров.

В первую очередь применение роботизированных систем с высокой степенью автономности нарушит основные положения Женевских конвенций о защите жертв международных вооруженных конфликтов, вступивших в силу в 1950 году и дополненных тремя основными протоколами в 1977-м и 2005 годах. Так, статья 36 Протокола I к Женевским конвенциям требует, чтобы все страны «при изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны» проверяли их на соответствие нормам международного права.

Так, все создаваемые виды оружия должны на каждом из этапов разработки проходить проверку и оценку на опасность для гражданского населения в случае их боевого применения. Например, по мнению правозащитников, подобную проверку не проходили кассетные боеприпасы, неразорвавшиеся суббоеприпасы которых лишь увеличивали число жертв среди мирного населения. К слову, для быстрого обнаружения неразорвавшихся «бомбочек» саперами их красили в яркие цвета, которые привлекали детей и лишь увеличивали потери гражданского населения. Сейчас кассетные боеприпасы оснащены таймерами самоуничтожения и представляют не большую опасность, чем обычная авиабомба.

Не собираются государства проводить и адекватную оценку перспективных роботов на соответствие международному праву, полагают в HRW. Кроме того, автономные роботы будут нарушать не только положения Женевских конвенций, но и требования Декларации Мартенса (представлена в начале 1900-х годов российским юристом Федором Мартенсом, легла в основу Конвенции о законах и обычаях сухопутной войны). Согласно этой декларации, «население и воюющие остаются под охраною и действием начал международного права, поскольку они вытекают из установившихся между образованными народами обычаев, из законов человечности и требований общественного сознания».

В целом же, автономные роботы будут представлять прямую угрозу невоюющему или выбывшему из военного конфликта населению. По мнению HRW, такие системы «не обладают человеческими эмоциями» и не способны сравнивать и сопоставлять действия людей. И, поскольку роботы не могут сострадать, они будут убивать раненых и выбывших из боевых действий (сложивших оружие) противников, хотя это запрещено Женевскими конвенциями.

При этом автономные роботы, каким бы совершенным искусственным интеллектом они ни обладали, не смогут на сколько-нибудь высоком уровне анализировать поведение находящихся перед ними людей. Как отмечает HRW, если для бойца-человека не составит труда отличить «устрашающего вида гражданского» от «представляющего угрозу участника боевых действий», то робот на это не способен. Кроме того, роботы не смогут предугадывать последствия тех или иных действий человека и, следовательно, не сумеют распознать перелом в настроении противника, если он при противостоянии роботу захочет, например, сдаться в плен.

Кроме того, отсутствие у роботов эмоций также сделает их привлекательным инструментом репрессий и установления диктатуры – дронам просто не придет в «голову» бунтовать против бесчеловечных приказов «начальства».

Наконец, при широком использовании автономного вооружения категории «человек-вне-системы-управления» невозможно будет установить виновного в случае гибели мирного населения. Предположительно, ответственность в таких случаях можно было бы возложить на офицера, принявшего решение об использовании робота, программиста, производителя или даже самого робота. Все эти варианты, по оценке HRW, неприемлемы. В противоправных и жестоких действиях «будет сложно и нечестно» обвинить офицера, программиста или производителя, а наказание робота представляется и вовсе абсурдным. Таким образом, жертвы военных действий лишатся законного права на правосудие.

На основании всех этих доводов HRW в своем докладе призывает правительства всех стран мира на законодательном уровне запретить разработку, производство и использование автономных роботов и систем вооружения, а также тщательно оценивать все создаваемые технологии, которые так или иначе могут быть использованы при конструировании самостоятельных дронов. Кроме того, разработчиков робототехники и вооружений HRW призвала тщательно проверять свои проекты на соответствие нормам национального и международного гуманитарного права.

Без человека

Между тем, создание автономных роботизированных систем считается правительствами многих стран приоритетным направлением. Так, в конце 2010 года министерство обороны США обнародовало «План развития и интеграции автономных систем на 2011–2036 годы». Согласно этому документу, число воздушных, наземных и подводных автономных систем будет значительно увеличено, причем перед разработчиками ставятся задачи наделить эти аппараты «поднадзорной самостоятельностью» (все действия контролирует человек), а в конечном итоге – и «полной самостоятельностью». При этом ВВС США полагают, что перспективный искусственный интеллект в ходе боя будет способен самостоятельно принимать решения, не нарушающие законодательства.

Правда, Пентагон при этом отмечает, что в обозримом будущем при применении автономных систем решение о применении оружия и выборе целей будет оставаться под контролем человека. Аналогичной позиции придерживается и министерство обороны Великобритании, в 2011 году объявившее, что страна не заинтересована в создании абсолютно самостоятельных роботизированных систем. По оценке HRW, такие заявления являются похвальными, но недостаточными – в будущем взгляды военных ведомств на самостоятельность роботов могут кардинально измениться.

Сами же военные уверены, что роботы – не зло, а благо. В частности, они позволяют не подвергать опасности жизнь солдат, которых на поле боя целиком и полностью заменят машины. Кроме того, в конечном итоге применение серийных автономных систем позволит сэкономить значительные средства на страховании, медицинском обслуживании, обеспечении, обучении и переподготовке профессиональных военных. С массовым приходом боевых роботов вооруженные силы можно будет значительно сократить, уделив основное внимание лишь подготовке техников и операторов.

Потери роботов в ходе войны можно компенсировать производством новых систем, взамен выбывших из строя, – обеспечить же быстрое «производство» солдат в нужных количествах просто невозможно. Наконец, по утверждению военных, именно роботы и роботизированные вооружения позволят значительно сократить сопутствующий ущерб и число жертв среди мирного населения. Так, в министерстве обороны США уверены, что в цепочке роботозированных систем слабым звеном является именно человек – оператор может не выспаться, устать или заболеть, что во много раз увеличивает вероятность роковой ошибки.

«Железный купол». Фото ©AFP

Южнокорейский робот-сторож SGR-1.
Фото ©AFP

При этом использование в роботах современных систем разведки, наблюдения и рекогносцировки таких устройств, как датчики высокой точности, мощные радары, камеры, сонары, лазерное оборудование, прецизионные механизмы, позволит исключить возможность, например, попадания снаряда или бомбы в не тот объект, который был намечен изначально. «Своих» роботы не тронут – не позволят системы «свой-чужой», которые к слову, уже внедряются в разрабатываемую экипировку «солдат будущего» в США, Франции, Германии и России. Одним словом, идеалом военных становятся битвы роботов с роботами в отдаленном будущем.

Предпосылок к созданию полностью автономных систем, по оценке HRW, уже множество. Так, современные зенитные ракетные комплексы могут действовать в полностью автоматическом режиме. Например, такими свойствами обладают американские комплексы Patriot, российская С-400 или израильский «Железный купол». В июле 2010 года Южная Корея начала размещать на границе с КНДР патрульных роботов, способных вести наблюдение за приграничными территориями, обнаруживать нарушителей и, с одобрения оператора, открывать по ним огонь.

В США ведется разработка палубного беспилотного летательного аппарата X-47B, который, хотя и не будет самостоятельно применять вооружение, но сможет без вмешательства человека дозаправляться в воздухе и производить дозаправку других летательных аппаратов, включая и пилотируемые, а также заходить на посадку на палубу авианосца, взлетать, вести разведку и распознавать цели. И все это он будет делать быстрее и точнее человека.

По сути ученым и производителям осталось лишь разработать надежную самообучающуюся систему с искусственным интеллектом, которая бы объединила существующие технологии. Тем более что искусственные нейронные сети уже самостоятельно научились распознавать на изображениях котов, человеческие лица и части тел.

И доводов в пользу создания полностью автономных систем, по мнению военных, существует больше, чем против. Например, предполагается, что перспективный американский истребитель шестого поколения будет беспилотным гиперзвуковым аппаратом. Учитывая, что на скоростях полета более пяти тысяч километров в час и при большом объеме поступающих данных (а их беспилотники уже сегодня дают больше, чем способен обработать человек) оператор просто не сможет вовремя принимать необходимые ситуационные решения, получается, что эту работу придется переложить на «плечи» искусственного интеллекта.

Но при этом открытым остается важный вопрос: этично ли передавать право на решение вопросов о жизни и смерти в условиях боя искусственному механизму? Ведь, как ни крути, убийство человека человеком выглядит действием более логичным (или по крайней мере более эмоционально оправданным), чем убийство человека машиной. В первом случае убийству можно будет приискать какое-то рациональное объяснение; во втором, и правда, впору говорить о наступлении Апокалипсиса.

Автор: Василий Сычев

Ссылки по теме

• Losing Humanity: The Case against Killer Robots – HRW, 19.11.12