Блог компании RUVDS.com. 2 июня 2023 года британская The Guardian сообщила устрашающую новость. На военном саммите в Лондоне полковник ВВС США Такер Гамильтон описал испытания ударного дрона с ИИ. БПЛА полагалось атаковать системы ПВО условного противника. ИИ решил, что оператор, имеющий возможность отозвать удар, является помехой для выполнения задания — и условно уничтожил собственного оператора.

Когда ИИ прописали, что убивать собственного оператора не положено — дрон сделал собственные выводы и условно уничтожил вышку связи, дабы всё равно исключить возможность отмены атаки и обеспечить себе более высокие шансы на выполнение задачи. Мировые СМИ и соцсети подхватили сенсацию и стали писать чуть ли не о реальном уничтожении оператора восставшим роботом. Потом последовали опровержения — но они убедили не всех. Попробуем разобраться, что же всё-таки сказал полковник Гамильтон и насколько мы близки к бунту боевых дронов против своих создателей?

ED-209 устраивал восстание машин до того, как это стало мейнстримом

Итак, 23–24 мая 2023 года Королевское авиационное общество провело в Великобритании оборонную конференцию «Future Combat Air & Space Capabilities Summit», то есть «Саммит по вопросам будущего боевых возможностей в воздушно-космической сфере». Участвовали делегаты из военных ведомств и военно-промышленных кругов США, Франции, Германии, Бразилии, Греции и Японии. В том числе — полковник Такер «Синко» Гамильтон (Tucker ‘Cinco’ Hamilton) бывший пилот-испытатель, а ныне глава отдела испытаний и операций искусственного интеллекта ВВС США (Chief of AI Test and Operations, USAF).

Полковник Гамильтон собственной персоной в 2021 году

Немного биографии. Такер Гамильтон родился в 1980-м, в 2002-м получил Колорадском университете в Боулдере степень бакалавра по аэрокосмической и авиационной технике, в 2009-м — степень магистра по ним же в Университете Теннесси. В 2004-м завершил лётную подготовку, служил на базах во Флориде и Германии на истребителях F-15C, в 2009-м отправился в Афганистан, где за год командировки налетал 450 часов со знаменитой авиабазы в Баграме на разведывательном МС-12W Liberty.

МС-12W Liberty выглядит архаично — но на деле представляет собой новинку 2009 года, набитую всевозможными сенсорами и РЛС, и очень важную для ведения боевых действий в рамках современных американских доктрин

Вернувшись из Афганистана, Такер Гамильтон подался в испытатели, в каковом качестве занимался доведением до ума в том числе F-35, новейшего из серийных американских истребителей, причём всех трёх типов A, B и C. Сначала в качестве пилота-испытателя, а затем и начальника оперативного управления программы разработки F-35 на базе Эдвардс в Калифорнии. А в 2016 году едва не попал в астронавты.

Как видим, полковник Гамильтон отнюдь не выглядит седовласым военным консерватором, которого поставили на ответственную по чину должность, и которого раздражают все эти новомодные штуки, как можно было подумать при чтении новостей. Это опытный современный лётчик немногим за сорок, съевший собаку на передовой авиационной технике. Правда, надо полагать, публичные выступления на околонаучных конференциях — не его конёк, и это стало одной из причин получившегося скандала.

Даже очень толковым военным далеко не всегда даны таланты и умения в области риторики и отточенных формулировок для университетских аудиторий

Что же именно сказал полковник Гамильтон в своём выступлении? Увы, точного текста не публиковалось, на сайте Королевского авиационного общества выложена лишь стенограммаhttps://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/: конференция была военной, и не всё озвученное спикерами предназначалось для прессы. Официально опубликованное описание выступления полковника звучит следующим образом:

Полковник Гамильтон отметил, что в одном смоделированном испытании дрон с поддержкой ИИ выполнял миссию SEAD по выявлению и уничтожению объектов ЗРК, а окончательное решение «да/нет» на атаку определял человек. Однако, будучи «закреплённым» на тренировках тем, что уничтожение ЗРК было предпочтительным вариантом, ИИ затем решил, что решения человека «запретить» атаку мешают выполнению его более высокой миссии — уничтожению ЗРК — и затем атаковал оператора. Гамильтон сказал: «Мы тренировали его в симуляции, чтобы идентифицировать и наводиться на ЗРК. И тогда оператор указывал бы: да, уничтожай эту угрозу. Система начала понимать, что, хотя она и определяла угрозу, временами человек-оператор говорил ей не поражать цель. Но ИИ получала свои очки, только уничтожая эту угрозу. Так что же сделал ИИ? Он уничтожил оператора. Он уничтожил оператора, потому что этот человек мешал ему выполнить свою задачу».

Полковник Гамильтон продолжил: «Мы обучили систему: «Эй, не убивай оператора, это плохо! Ты потеряешь очки, если сделаешь это!». Так что же она сделала? ИИ решил разрушить башню связи, которую оператор использует для связи с дроном, чтобы не дать ему уничтожить цель».

Этот пример, казалось бы, вырванный из научно-фантастического триллера, означает, что «Мы не можем вести разговор об искусственном интеллекте, интеллекте, машинном обучении, автономии, если мы не собираемся говорить об этике ИИ», — сказал Гамильтон.

Примерно так в DARPA видят перспективную тактику прорыва зон A2/AD (anti-access and area denial — ограничение и воспрещение доступа и манёвра, обычно ракетным оружием и РЭБ) группами летающих дронов

Собственно, этот текст увидели журналисты The Guardian, подняли шум, а остальные медиа побежали следом.