Автор: Денис Тарасов. В последнее время чаще стали появляется новости о том, что тот или иной эксперт в области ИИ заявил про появление у машины сознания. То Илья Суцкевер, директор по науке в OpenAI напишет о том, что «может быть, сегодняшние большие нейронные сети немножко обладают сознанием». А то и вовсе инженер Гугла Леймон Блейк найдет у искусственного интеллекта LaMDA разум и сознание и выложит в доказательство диалоги с ним.

Резонанс последнего эпизода вообще большой — после объявления о том, что Блека отстранили от работы, а он в свою очередь собирается нанять для ИИ адвоката, разные конспирологические версии появились даже в комментариях на Хабре. Ну и чего бы им не появиться, если реально серьезный разбор вопроса о «сознании» нейросети с технической точки зрения найти трудно. Кроме того, что «комиссия по этике Гугл рассмотрела вопрос и решила, что ИИ не обладает сознанием», да еще ряда давно известных общефилософских размышленийhttps://habr.com/ru/post/672264/ ничего особо и нет.

Поэтому, как человек потративший по роду работы более сотни часов своей жизни на общение с моделями такого рода и поиску в них проблем, я решил, что будет полезно восполнить пробел более подробным обзором вопроса. Завесу мистической тайны сознания нейросетей приподнимаем под катом )

Как устроена эта статья

В этой статье я постарался суммировать важные моменты, понимание которых необходимо, чтобы правильно оценивать ситуацию с «сознанием» LaMDA и подобных моделей. А чтобы статья была не совсем скучной, эти моменты я постарался проиллюстрировать на «живых» диалогах с множеством разных моделей, от сверхбольших GPT-3 и Jurassic-1, которые доступны только по API, до маленьких GPT-2, которые каждый может запустить на своем компьютере. (Важно оговориться: сами диалоги не следует воспринимать как «доказательства» чего-либо — они лишь иллюстрируют известные из других исследований закономерности).

Статья написана так, чтобы ее могли понять разработчики, далекие от нейронных сетей, поэтому многие вещи намеренно упрощены и понятность изложения поставлена в приоритет перед математической строгостью. Но при этом, статья все же рассчитана на техническую аудиторию.

Сначала я очень кратко объясню о каком типе ИИ идет речь, что такое LaMDA, что делает языковая модель и как получается диалог с ней. Потом мы проанализируем фрагмент диалога Леймона с LaMDA и далее отдельно рассмотрим современное понимание проблемы «личности» нейросети, ее «разумности» и «сознания».

В итоге мы попробуем сделать выводы относительно того, что точно известно по данному вопросу. Объем статьи совсем не маленький, но значительную ее часть занимают тексты диалогов. Также, статья начинается с достаточно простых моментов, которые могут показаться некоторым тривиальными, но на мой взгляд эти «кирпичики» нужны для того чтобы постепенно подвести к более сложным темам.

Что такое вообще LaMDA?

LaMDA представляет собой семейство языковых моделей на базе архитектуры «Трансформер» и продолжает ранние работы компании Гугл в области диалоговых систем. Можно сказать, что это «наследник» известного чат-бота Meena.

Языковая модель это особый вид нейронной сети, которая обучается предсказывать следующее слово в тексте на основании предыдущих слов. В последнее время выяснилось, что как только такие модели достигают достаточно больших размеров, они приобретают способность выполнять разнообразные задачи, сформулированные в виде текстовых описаний. Подробнее про языковые модели, их обучение и возможности можно прочитать в моей предыдущей статье, поэтому тут я не буду долго останавливаться на этой теме.

В семействе LaMDA имеются модели размером от 2-х миллиардов параметров, до 137 миллиардов параметров. Для сравнения, самая большая модель в известном семействе GPT-3 имеет размер 174 миллиарда параметров. LaMDA кроме того имеет дополнительные улучшения для уменьшения «токсичности» генерируемого текста и повышению фактической точности. Впрочем, последние варианты GPT-3 также имеют схожие по цели улучшения, хотя и выполненные несколько иным образом.

Часто спрашивают, как эти размеры моделей соотносятся с размером мозга человека. Кора головного мозга человека имеет по современным оценкам 100–200 триллионов синапсов в зависимости от пола и возраста. Однако «параметр» в нейросетевой модели это число типа float32 (или float16). Число типа float16 может иметь 65636 разных значений (16 бит), в то время как синапс только 15–30 разных степеней силы (примерно 4–5 бит), отсюда можно было бы заключить, что эквивалентная по объему коре головного мозга человека нейросеть содержала бы (по объему информации) где-то 33 триллиона параметров.

Все это, конечно, очень приблизительно. Биологический нейрон судя по всему является гораздо более сложным вычислительным элементом чем его упрощенная модель, которая используется в нейросетях. Да и вообще, как мы увидим далее, хоть размер тут и имеет значение, сравнивать модели только по размерам это серьезная ошибка.

Разбор диалога с LaMDA и сравнение с GPT-3

Полный текст общения с LaMDA на английском можно найти например тут. Для целей этой статьи я приведу перевод небольшого фрагмента этого общения на русский.