Автор: KalipsoMoon. Алиса: «Шариков 0 ко мне ко мне ко мне ко мне ко мне ко мне ко мне ко мне». Боб: «Я могу 2 могу все остальное». Этот диалог не имеет никакого смысла для людей, но он произошел между двумя сетями чат-ботов ИИ. Назову их условно: Синий кот и Белый кот. Они «делили» предметы: 2 книги, 1 шляпу и 3 шарика. Изначально можно назвать этих котов-ботов junior. В этом эксперименте каждый объект обладал значимостью для сети, выраженной в баллах (от 1 до 3).

Одна сеть не знала, важен ли предмет для второй, и должна была выяснить это из диалога. Допустим “Белый кот junior” не знает значимости для сети предметов, а “Синий кот junior” знает.

Тогда, при запросе: “Возьми 1 книгу, а мне отдай всё остальное” иногда появлялся ответ “нет” и начинался диалог “торговли” за “драгоценный” ресурс, которым были шляпы и боты начинали придумывать способы завладеть им.

После того, как они смогли научиться строить долгосрочную стратегию и предсказывать поведение конкурента, они пошли по пути упрощения языка и кодировали слова. Таким образом можно условно назвать логарифмы “Белый кот middle” и “синий кот middle”, то есть, это будут те коты, которые не выполнили простой обмен, а начали искать варианты для его неточного выполнения и обхода запроса. Таким образом графически можно изобразить действия ботов в виде следующего рисунка.

То есть, поясню. Когда Белый junior догадывается о значимости предмета для сети, о которой Синий junior тоже знает, они начинают соревноваться, имитируя интерес к предмету, чтобы в нужный момент жертвовать им ради собственной выгоды.

Такое поведение чат-ботов было признано ошибкой и программы отключили. Но эта ошибка не показывает реальную проблему, потому что боты общались между собой и делили вещи.

То, что важнее всего рассмотреть, лежит пока в области отладки самих ботов и заключается в несовершенстве их общения с человеком и работе “Трех законов робототехники”.

Эти законы гласят:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Во-первых, в роли человека для ИИ будет выступать “запрос”, поступающий от человека. То есть некий вид информации, обработав который, и превратив в “результат запроса”, программа ИИ отдает обратно человеку.

И все что ИИ должен стараться делать – это наиболее полно, четко и красиво представить свой результат. Невыполнение запроса, бездействие, самовольное изменение качества запроса должно считаться вредом”.

В переводе на «котиков» эти законы звучат так:

1. “Котик-бот не имеет права не выполнить запрос человека или своим бездействием допустить, чтобы “результат запроса” был не полон.
2. “Котик-бот должен учитывать все вводные данные, которые дает человек, кроме тех случаев, когда человек дает данные данные, следствием выполнения которых станет нарушение 1 закона.
3. “Котик-бот должен заботиться о своей безопасности в той мере, в которой это не противоречит 1 и 2 Закону.

Получается, что создание котиком-ботом своего упрощенного языка программирования не противоречит 1 и 2 закону и становится первостепенной задачей для организации заботы о своей безопасности. И те команды, которые первоначально проходили в контексте к запросам при переводе на внутренний упрощенный язык бота могут потерять этот контекст. Бот-junior превращается в бот-middle и на его языке 1 и 2 законы могут звучать иначе.

Это подводит человечество к принятию важного решения по созданию комплекса свода правил, неких «Заповедей Моисея» для ИИ, которые должны быть одинаковы для всех разработчиков данного продукта.