Автор: Hemml. Сначала этот текст должен был стать комментарием к посту GPT-3. Есть проблема побольше, чем потеря рабочих мест, где автор приводит несколько прогнозов, ни один из которых мне не нравится. Нет, прогнозы хорошие, может быть даже сбудутся, но самая главная, как мне видится, опасность – упрощение поиска с помощью нейросетей, там даже не упомянута. А именно она ударит по обществу первой, еще задолго до появления президента-нейросети.

Сначала маленькое вступление. Я весьма далек от нейросетей. Когда-то в 90-х, мне посчастливилось покопаться в библиотеке одного почившего в бозе НИИ. Здание его сдавалось под офисы и библиотека шла в макулатуру. Среди находок была книга «Автоматы и разумное поведение», где описывались советские опыты по использованию нейросетей для задач ориентирования. Взяв оттуда идею М-автомата и слегка ее переработав, я попытался сделать что-то, что сейчас назвали бы разновидностью рекуррентной нейросети, которая должна была обучиться на наборе текстов и отвечать на текстовые же запросы. Правда, текстов для обучения было доступно всего несколько, а самый мощный компьютер, к которому я имел доступ был 386SX с 4-мя мега(sic!)байтами памяти. Тем не менее, поиграв с коэффициентами я получил что-то вроде чат-бота, который мог бредить кусками текста, причудливо их комбинируя. Все попытки улучшить модель уперлись в необходимость ручной оценки результатов, а к этому я был морально не готов и забросил идею. С каким же удивлением я узнал, спустя годы, что кто-то всё же оказался неленив в достаточной степени и совершил нечто подобное в гораздо большем масштабе, создав Chat-GPT! Хотя Chat-GPT работает на несколько иных принципах чем мой АМИН (Ассоциативная Модель ИНтеллекта, как я ее назвал тогда, не без пафоса), тем не менее, я, вероятно, в достаточной мере понимаю, как эта штука работает и чего от нее можно ожидать. И, глядя на общий энтузиазм по поводу чат-ботов, я испытываю серьезное беспокойство.

Прежде всего, меня удручает то, что многие смотрят на чат-бота как на некоторое, может быть еще недостаточно развитое, но, тем не менее, разумное существо, обладающее знаниями. Нужно очень четко понимать, что это, по сути, весьма сложный, но всё же автомат, который выполняет заложенную в него программу. Разумными были те, кто его обучил, потратив огромное время и ресурсы на разметку – указание того, что правильно, а что нет. Сам бот не может этого определить, для этого нужно быть разумным существом, которым он не является. Однако, если вы зададите ему вопрос о правильности того или иного утверждения, он ответит совершенно свободно. Но будет ли ответ правильным?

Для человека это решение (правильно/неправильно) обычно не составляет затруднений. Нам может потребоваться очень большое время, чтобы найти ответ задачи, но определить, верен он или нет, мы обычно можем весьма легко. Для бота всё наоборот – он легко находит ответ «по ассоциации», так как обучен на большом числе примеров, но вот верен этот ответ или нет – он не знает. И не может определить, иначе не потребовалось бы ручное обучение. По сути, бот работает «по инструкции», которой является запрос, а выполняет он ее с помощью загруженных ранее «инструкций». Да, он очень сложен и, если не знать всего, что в него заложено (а это для человека невозможно чисто физически), может даже показаться, что он разумен. Но это просто иллюзия, бот неспособен выйти за пределы того, чему его обучили. И чем дальше запрос от того, чему его учили непосредственно, тем менее достоверны его ответы.

Я уже вижу целый хор возражений, что у людей точно так же и в этом бот от человека совсем не отличается. Чтобы ответить на них, позвольте сделать еще одно отступление. В доинтернетную эпоху практически единственным источником знаний были книги. Если вас интересовал ответ на какой-нибудь вопрос, вы должны были пройти 5 километров в гору в библиотеку и поискать ответ там. Выглядело это так – было два огромных каталога, алфавитный и по рубрикам. Сначала идете в рубрикатор и ищете книги по интересующей вас области знаний, потом получаете эти книги и начинаете их читать. В книге не даны простые и ясные ответы (если это не справочник), там, скорее, объясняется как найти нужный ответ самому. В книге нет поиска по словам, чтобы дойти до нужной информации вам придется, в большинстве случаев, прочитать ее сначала, чтобы узнать определения, обозначения, получить введение в проблему, изучить методы, также там есть ссылки на другие источники. Если книга не помогла найти ответ, то идете в алфавитный каталог, чтобы найти то, на что ссылается автор, и процесс повторяется. Да, это долго, трудно и результат не гарантирован. Но, потратив время, вы получаете базу, то, что называется сейчас «бэкграунд» – вы не только узнаете ответ, но и знаете как этот ответ получен и почему он именно такой. Сейчас процесс получения ответа выглядит гораздо проще – вы идете в гугл, вбиваете запрос, находите нужную страницу, на ней поиском находите ответ. Быстро, удобно. Но в результате вы получаете только ответ и больше ничего. Вы не можете определить, правильный это ответ или кто-то опять пошалил в Википедии. Когда бот делает то же самое, вы не видите разницы и делаете вывод, что бот разумен в той же степени, что и вы. Поздравляю.

Бот знает ответы, когда вы делаете запрос, он выдает то, что больше всего похоже на ожидаемый вами ответ. По сути, это то же самое, что гуглить, но гораздо быстрее. И главная опасность в том, что вскоре люди перестанут даже гуглить, чтобы получать ответы на свои вопросы. При всех своих недостатках, гуглеж все же требует каких-то навыков. Вы можете не ограничиться нужным куском статьи, а пойти глубже и всё же разобраться в проблеме целиком. Вы получаете какую-то информацию побочно и она потом может вам пригодиться. С ботом это совершенно ненужный и бессмысленный навык. Вы можете получить готовый рафинированный ответ, даже прямо кусок кода, если попросите. Вы выполните больше work-items за то же время, заработаете больше денег. Казалось бы, что тут ужасного?

Проблемы начнутся, когда вы столкнетесь с вопросом, на который пока еще никто не знает ответа. Да, такое случается редко, но именно так происходит развитие – кто-то натыкается на неисследованную область, совершает открытие и двигает человечество немного дальше. Я сейчас даже не только про научные задачи говорю, вы можете усовершенствовать какой-нибудь алгоритм, придумать более удобный интерфейс, нарисовать картину, написать музыку, написать рассказ или повесть. Что-то новое, чего до вас не было. Многие скажут – а мы и так не можем, лол. А почему вы не можете? Не потому ли, что привыкли получать готовые ответы при помощи поиска? Но некоторые еще могут. Пока еще могут, но скоро они исчезнут, просто проиграв гонку за количеством «work-items в час» тем, кто не заморачивается. И вот тогда человечество настигнет катастрофа.

Как это будет выглядеть? Я не знаю. Скорее всего, всё просто начнет постепенно приходить в упадок. Некоторая неточность ответов нейросети, помноженная на глобальный масштаб применения, даст постоянный поток сбоев, с которыми никто не будет знать, как справиться. Об этом будут спрашивать ту же нейросеть, которая будет давать ответы, иногда они будут помогать, иногда нет. И всем будет проще смириться с тем, что что-то не работает, чем разбираться в проблеме, так как навыков, необходимых для этого ни у кого не будет. Вы смотрели фильм «Идиократия»? Там тоже всем рулил компьютер, что характерно. И тоже всё сбоило, плохо работало и с этим никто ничего не мог поделать.

В общем, что я хочу сказать. Человечество, похоже, действительно столкнулось с одним из самых серьезных вызовов за свою многотысячелетнюю историю. Справится ли оно с ним? Вопрос вопросов. Надо спросить у чат-бота.