Автор: @high_fly. 14 декабря OpenAI опубликовали статью weak-to-strong generalization, в которой показывают, что люди смогут улучшать полезность потенциально созданного в будущем сильного искусственного интеллекта несмотря на то, что будут глупее него. При этом, судя по всему, людям будет очень сложно оценивать ответы сильного ИИ, и RLHF в нынешнем его виде будет работать не слишком хорошо.

Да кто такой этот ваш AGI

AGI (Artificial general intelligence) – это гипотетический искусственный интеллект, способный без прямого обучения решать любые задачи, которые может решить человек, так же эффективно, как это делал бы человек. General в AGI означает, что такой искусственный интеллект сможет охватить любые задачи, которые доступны человеку – то есть этот ИИ сможет обобщать свои знания на какие-то новые, незнакомые ему задачи. Например, если AGI обладает знаниями о том, как проводить пересадку лёгкого у взрослого, то он, обобщая дополнительные данные по анатомии, физиологии и т.д., сможет вывести алгоритм пересадки поджелудочной железы ребёнку. А может, AGI и не нужно знать никаких алгоритмов по пересадке, он сам сможет обобщить свои текущие знания по медицине и вывести все алгоритмы самостоятельно, как это мог бы сделать умный человек с доступом к медицинским справочникам и интернету. (определение AGI – штука довольно спорная, и некоторые полагают, что мы можем достигнуть agi, но не понять этого).

То есть ключевое отличие general AI от просто AI – general AI может «учиться» новому на человеческом уровне без прямого вмешательства в обучения, в то время как обычный AI не демонстрирует каких-то новых навыков в совершенно незнакомых ему областях, а если демонстрирует, то справляется не так хорошо, как справился бы человек.

Есть мнение, что gpt-4 уже достигла AGI. Например, если мы закинем в неё какой-нибудь секретный документ по ракетостроению в СССР 70-х годов и попросим что-то объяснить, то gpt-4 скорее всего справится очень хорошо, даже несмотря на то, что её наверняка не учили разбираться в таких документах. Ещё один пример, который мне нравится – парень, который использовал gpt-4 для лечения своей собаки. gpt-4 смогла проанализировать анализы крови собаки и сделать верные выводы, в то время как ветеринар с этим не справился.

оригинальный пост про спасённую собаку

Но gpt-4 всё ещё периодически не справляется с простейшими задачами, с которыми может справиться любой человек.

gpt-4 не справилась с умножением

Правильный ответ, btw, равен 5 320 797.

Я потратила некоторое время, объясняя gpt-4 как правильно умножать и складывать, но правильного результата не добилась. Оплошности, которые допускала модель даже после моих пояснений и исправлений можно простить ребёнку по невнимательности, но не машине, претендующей на AGI. UPD.

В комментариях подсказали, что трансформеры не предназначены для циклических операций, а сложение набора чисел по разрядам – это самая что ни на есть циклическая операция. Хотя, кажется, те числа, которые я подавала, должны были поместиться в длину окна… В любом случае, трансформеры не позволяют работать с циклическими процессами. А AGI должен это уметь или хотя бы обращаться к кому-то, кто это умеет. Например, для математики у gpt-4 есть специальный плагин, позволяющий выполнять вычисления.

Также gpt-4 не может, например, считать вещи, которые смог бы сосчитать четырёхлетний ребёнок, далеко не всегда способна выполнить простейшие логические вычисления или операции над множествами. Можно сказать, что для таких вещей существуют специальные калькуляторы, но дело именно в том, что как бы я не пыталась объяснить gpt-4, как правильно складывать числа (где-то 40 минут), она раз за разом допускала ошибки. Причём первоклассник многовероятно понял бы меня с первого раза. То есть об AGI тут речи не идёт – сеть не способна обобщить поданные знания и справится с задачей на уровне человека.

Тем не менее, разрыв метрик и обобщающих способностей gpt-3.5 и gpt-4 впечатляет, и в openai предполагают, что сильный ии может быть создан и в ближайшее десятилетие. Причём речь уже идёт не про AGI, а про ASI – Artificial Super Intelligence. Это интеллект, который способен не просто выполнять экономически важные задачи на уровне человека, эта технология будет превосходить человеческий интеллект. В процессе общения про умножение c gpt-4 в это немного сложно поверить, однако когда разговор переходит на медицину, или бизнес, или разработку, появление ASI кажется всё более и более вероятным.

В чём проблема с сильным ИИ?