Ученые создали нейронную сеть с присущей человеку способностью к языковому обобщению. Этот ИИ умеет почти как мы укладывать новые для себя слова в существующий словарь и использовать их в новом контексте. Такое умение считается ключевым аспектом человеческого восприятия. Кстати, ChatGPT справился с той же задачей намного хуже.

Люди проявляют способность к систематической генерализации, когда без труда используют недавно изученные слова в новом контексте. Однако для нейросетей это не так-то просто — их приходится сначала научить на множестве примеров всем вариантам использования слова, пишет Nature. Исследователи уже лет 40 спорят о том, можно ли считать модели ИИ достоверной моделью человеческого сознания, если они не могут демонстрировать эту способность систематически.

Чтобы разрешить затянувшийся спор, ученые провели эксперимент, изучив, как 25 человек применяют новые для себя слова в различных языковых ситуациях. Для этого они придумали несколько слов: «дакс», «уиф» и «лаг» означали простые действия — прыгать, скакать. «Бликет», «кики» и «феп» добавляли базовым действиям конкретики: скакать вперед или прыгнуть три раза.

Каждое базовое слово соединялось с кружочком определенного цвета: красного для «дакс», синего для «лаг». Затем участникам показывали комбинации базовых и функциональных слов вместе с паттернами кружочков. К примеру, фразе «дакс феп» сопутствовали три красных кружочка, а «лаг феп» — три синих. Это значило, что «феп» обозначает абстрактное правило повторения базового действия трижды.

Наконец, ученые проверили способность участников применять эти абстрактные правила, дав им комплексные сочетания базовых действий и функций. Они должны были выбрать правильный цвет и число кружочков и расположить их в нужном порядке.

Как и предполагалось, люди отлично справились с этой задачей, дав правильные ответы примерно в 80% случаев.

Затем ту же задачу научили выполнять нейросеть, запрограммировав ее учиться на ошибках. Этот подход позволил ИИ учиться, выполняя каждое задание, а не использовать статические данные, как в стандартном методе обучения нейросетей. Чтобы сделать нейронку более похожей на человека, авторы обучили ее воспроизводить ошибки, которые она наблюдала в результатах тестов людей. В итоге ее собственные результаты почти в точности соответствовали результатам участников эксперимента, а в некоторых случаях, даже превзошли их.

Для сравнения, GPT-4 не справился с поставленной задачей в 42–86% случаев, в зависимости от формулировки условий.

«Это не волшебство, это практика, — сказал Лейк. — Как ребенок тренируется, когда учится говорить, так и модель улучшает свои композиционные навыки через серии обучающих композиции тестов».