Если вы ищете признаки грядущего апокалипсиса, в котором будут повинны роботы, обратите внимание на демилитаризованную зону между Северной и Южной Кореей. Здесь, вдоль наиболее укрепленной границы в мире, несут вахту больше чем просто солдаты.

Встречайте SGR-A1, часового-робота, разработанного компанией Samsung в Южной Корее. 1.2-метровый аппарат выглядит немного больше, чем пара черных металлических обувных коробок, но его бездушные глаза, оборудованные инфракрасными портами, могут обнаружить врага на расстоянии до четырех километров. Его пулемет наготове.

В настоящее время робот оповещает своих создателей о подозреваемых злоумышленниках, сидя в комнате управления. И для того, чтобы он открыл огонь, необходимо одобрение человека. Но этот робот также работает в автоматическом режиме и может стрелять первым на свое усмотрение. Сопротивление, мои коллеги-люди, бесполезно.

Пентагон и военные во всем мире разрабатывают все более автономное оружие, выходящее далеко за рамки дронов с дистанционным управлением, которые использовал Вашингтон в Пакистане, Афганистане и других странах. Технологические достижения позволят этим новым видам оружия выбирать мишень и стрелять по ней на свой выбор без одобрения человека. Некоторые предсказывают, что эти роботы в один прекрасный день будут сражаться бок о бок с солдатами-людьми.

Неудивительно, что известие о роботах, которые убивают, заставляет некоторых людей нервничать. В апреле этого года международная коалиция конструкторов, ученых и правозащитников созвала кампанию против создания роботов-убийц и обратилась к дипломатам Организации Объединенных Наций в Женеве. Участники кампании хотят запретить разработку и использование «смертоносного автономного оружия», хотя и признают, что такое оружие, хотя технологически это возможно, никогда не применялось.

«Есть смысл задаться вопросом: уменьшится ли ценность человеческой жизни от того, что роботам позволят убивать людей?» — говорит Питер Асаро, доцент в Школе медиаисследований в Нью-Йорке и представитель кампании против роботов-убийц.

Это всего лишь один вопрос, с которым философы, правоведы и ученые борются еще с незапамятных времен, в то время как мир готовится к натиску новых роботов, которые, как нам говорят, будут косить газоны, ухаживать за пожилыми людьми, учить детей, страдающих аутизмом, и даже водить наши автомобили. Эти роботы не могут убивать, но представители дорожного движения хотят заставить правительства и суды рассмотреть ряд юридических и этических вопросов. На кого я должен подать в суд, если меня собьет машина без водителя? Что делать, если робот-медик даст пациенту неправильный препарат? Что делать, если робот-пылесос случайно всосал мои волосы, пока я дремал на полу (как на самом деле произошло с женщиной в Южной Корее не так давно)? А может ли робот совершить военное преступление?

Именно этот последний вопрос больше всего беспокоит профессора Асаро. Он и другие члены коалиции, в которую входят Human Rights Watch утверждают: если автономная компьютерная система, запрограммированная на то, чтобы отличать вражеских солдат от гражданского населения, на самом деле нажимает на курок без «человеческого одобрения», то будет очень трудно держать ситуацию под контролем, если что-то пойдет не так.

Если робот выйдет из строя и убьёт целую деревню, вы не сможете поставить неодушевленный объект перед Международным уголовным судом или придать его военно-полевому суду. А некоторые эксперты говорят, что вы не можете по закону обвинить даже разработчиков робота, если они не предполагали, что данный робот может сойти с ума.

В уголовном праве суды должны найти то, что известно как mens rea, или виновная воля (с латыни). Но они вряд ли найдут информацию о том, что робот — с текущим уровнем развития искусственного интеллекта — имеет волю в принципе. Конструкторы роботов могут понести гражданскую ответственность, если обнаружится, что робот вышел из-под контроля из-за сбоя в программе. Однако и они, возможно, не будут привлечены к ответственности за действия робота-убийцы.

Эти роботы-убийцы могут выглядеть как угодно — от автономных дронов до роботов-марсоходов с автоматами. В директиве от 2012 года Министерство обороны США постановило, что автономные системы «должны быть разработаны таким образом, чтобы командиры и операторы могли осуществлять соответствующие уровни человеческого контроля по поводу использования силы». В ответе по электронной почте на вопрос от The Globe and Mail Канадский департамент национальной обороны отметил, что «в настоящее время не разрабатывается автономное смертоносное оружие», но их исследовательское агентство активно занимается «программой исследований в сфере беспилотных систем».

По крайней мере одна компания, занимающаяся робототехникой, Waterloo, Ont.-based Clearpath Robotics Inc., выступила против роботов-убийц, несмотря на то, что создавала роботов для канадских и американских военных. Райан Гариепи, соучредитель компании ClearPath и ее главный технический директор, сказал, что хорошим применением для автономных боевых роботов были задачи по разминированию или наблюдению, но не убийства, особенно если такие машины только на одной стороне боя:

«Разве могут роботы решать, кому вынести смертный приговор? Имеет ли право человек лишать жизни таким образом вражеских солдат?»

Неизбежно обсуждение убийц-роботов вращается вокруг «трех законов робототехники» из рассказов писателя-фантаста Айзека Азимова. Первый закон запрещает роботам вредить людям; второй приказывает им подчиняться людям, только если это не противоречит первому закону; третий приказывает роботам защищать свою собственную жизнь — при условии, что это не нарушает первые два закона. Но большинство экспертов говорят, что эти законы принесут мало пользы в реальном мире: их недостатки даже Азимов показывает в своих рассказах.

Тем не менее, профессор Рональд Аркин из Технологического института Джорджии, известный американский конструктор роботов, который работает над проектами Пентагона, утверждает, что роботы-убийцы или другие автоматизированные системы вооружения могут быть запрограммированы, чтобы следовать законам войны — и следовать им лучше, чем люди. Робот, говорит он, никогда не будет стрелять, защищая свою жизнь или из-за страха. Он будет иметь доступ к информации и данным, которые ни один солдат-человек не смог бы обработать так быстро, что делает менее вероятной ошибку в «пылу битвы». Он никогда не будет намеренно убивать мирных жителей в отместку за смерть товарища. И он действительно может следить за солдатами, чтобы они не совершали злодеяния.

Профессор Аркин также утверждает, что автономная технология по сути уже на поле боя. По его словам, U.S. Patriot missile batteries автоматически выбирают цели и дают человеку до девяти секунд, чтобы отменить цель и остановить ракету. А система U.S. Navy’s Phalanx защищает корабли, автоматически сбивая ракеты.

Но даже они требуют мораторий на разработку более автономного оружия до тех пор, пока можно будет показать, что они могут уменьшить потери среди гражданского населения.

«Никто не хочет появления Терминатора. Кто хотел бы иметь систему, которую можно отправить на задание, и она будет самостоятельно решать, кого нужно убить? – говорит профессор Аркин. — Эти системы должны разрабатываться очень тщательно и осторожно, и я думаю, что есть способы сделать это».

В последнее время крупные технологические компании все больше обеспокоены искусственным интеллектом. Физик Стивен Хокинг предупредил, что появление ИИ «может означать конец человеческой расы». Элон Маск, основатель Tesla Motors, назвал ИИ «экзистенциальной угрозой» — не менее опасной, чем ядерное оружие. Билл Гейтс, основатель Microsoft, также обеспокоен.

Люди, которые действительно работают над созданием искусственного интеллекта, говорят, что есть о чем беспокоиться. Yoshua Bengio, ведущий научный сотрудник ИИ при Университете Монреаля, отмечает, что фантастика Star Wars и Star Trek сильно переоценивает способности роботов и искусственного интеллекта. Однажды, говорит он, мы могли бы построить машины, которые стали бы конкурировать с мозгом человека. Но сейчас ИИ еще не настолько развит.

Еще очень многое нужно сделать, прежде чем роботы станут такими, какими вы видите их в кино, — говорит профессор Бенджио.  — Мы еще очень далеки от того, чтобы получить уровень понимания мира, который мы ожидаем, скажем, от пятилетнего ребенка или даже взрослого. И на достижение этой цели могут понадобиться десятилетия или еще больше. Мы не можем повторить даже интеллект уровня мыши.

Без сомнения, разработка как аппаратных средств, так и программного обеспечения для роботов все время стремится вперед.

Роботы, разработанные компанией Boston Dynamics, которую недавно выкупил Google, могут носиться по пересеченной местности, как собаки, и ползать, как крысы, в зоне бедствия.

Робот-собака по имени Спот может стоять на ногах после того, как его побьют, а его металлические ножки выглядят устрашающе реалистичными.

Но если вы боитесь, что революция роботов-убийц является неизбежной, Atlas, шестифутовый робот-гуманоид весом в 330 фунтов, поможет вам успокоиться. Также созданный компанией Boston Dynamics, он может ходить по лестнице и по камням. Он похож на Киберчеловека из сериала «Доктор Кто», разработанного компанией Apple. Однако заряда его аккумулятора хватает всего на 1 час.

Похоже на то, говорит Ян Керр, заведующий кафедрой этики, права и технологий в университете Оттавы, что люди постепенно передадут управление машинам с искусственным интеллектом  – компьютерам, которые со временем будут делать определенные вещи лучше, чем мы.

Хотя пройдет некоторое время, прежде чем появятся машины, которым не нужен будет водитель, даже сейчас уже есть автомобили, которые могут припарковаться самостоятельно. Робот IBM Watson от компании International Business Machines Corp., который выиграл викторину Jeopardy! в 2011 году, в настоящее время используется для анализа миллионов страниц медицинских исследований, чтобы рекомендовать процедуры для больных раком.

Человек — это просто точка… О чем-то подобном я иногда думаю, и в этот момент я похож на Авраама на горе, когда он слышит голос Бога, но все еще должен решить для себя, что делать, -говорит профессор Керр. — Закономерно, что больницы захотят, чтобы врачи полагались на машины, поскольку машины имеют больший потенциал… И вдруг мы достигнем точки, когда человечество будет избавлено от некоторых видов решений, таких как вождение или война.