Автор оригинала: Anil Ananthaswamy. Перевод – @arielf. Наполняя огромные векторы семантическим значением, мы можем заставить машины рассуждать более абстрактно и эффективно, чем раньше. Несмотря на бешеный успех ChatGPT и других крупных языковых моделей, искусственные нейронные сети (ИНС), лежащие в основе этих систем, могут идти неверным путем.

Во-первых, ИНС «сверхмощны, – сказала Корнелия Фермюллер, специалист по информатике из Мэрилендского университета. – И иная проблема заключается в отсутствии прозрачности». Такие системы настолько сложны, что никто по-настоящему не понимает, что они делают и почему они работают так хорошо. Из-за этого, в свою очередь, почти невозможно заставить их рассуждать по аналогии, что и делают люди – используя символы для обозначения объектов, идей и отношений между ними.

Такие недостатки, вероятно, связаны с текущей структурой ИНС и их строительных блоков: отдельных искусственных нейронов. Каждый нейрон получает входные данные, выполняет вычисления и производит выходные данные. Современные ИНС представляют собой сложные сети этих вычислительных блоков, обученных выполнять определенные задачи.

Тем не менее ограничения ИНС уже давно очевидны. Рассмотрим, например, ИНС, которая различает круги и квадраты. Один из способов сделать это – иметь в выходном слое два нейрона, один из которых указывает на круг, а другой – на квадрат. Если вы хотите, чтобы ваша ИНС также различала цвет фигуры – синий или красный – вам понадобятся четыре выходных нейрона: по одному для синего круга, синего квадрата, красного круга и красного квадрата. Больше функций означает еще больше нейронов.

Наш мозг не может так воспринимать мир природы со всеми его вариациями. «Вы должны предположить, что у вас есть нейрон для всех комбинаций, – сказал Бруно Ольсхаузен, нейробиолог из Калифорнийского университета в Беркли. – Итак, у вас в голове будет, скажем, детектор фиолетового Volkswagen».

Вместо этого Ольсхаузен и другие утверждают, что информация в мозгу представлена активностью многочисленных нейронов. Таким образом, восприятие фиолетового «Фольксвагена» кодируется не как действие отдельного нейрона, а как действие тысяч нейронов. Один и тот же набор нейронов, возбуждающийся по-разному, может представлять совершенно другую концепцию (например, розовый Cadillac).

Это отправная точка для радикально иного подхода к вычислениям, известного как гиперпространственные вычисления. Суть в том, что каждая часть информации, такая как понятие автомобиля, его марка, модель или цвет, или все вместе, представлена как единое целое: гиперпространственный вектор.

Вектор – это просто упорядоченный массив чисел. Трехмерный вектор, например, состоит из трех чисел: координат x, y и z точки в трехмерном пространстве. Гиперпространственный вектор или гипервектор может быть массивом из 10 000 чисел, скажем, представляющим точку в 10 000-мерном пространстве. Эти математические объекты и алгебра для управления ими достаточно гибки и мощны, чтобы вывести современные вычисления за пределы некоторых существующих ограничений и способствовать новому подходу к искусственному интеллекту.

«Это то, что меня больше всего взволновало за всю мою карьеру», – сказал Ольсхаузен. Для него и многих других гиперпространственные вычисления обещают новый мир, в котором вычисления эффективны и надежны, а принимаемые машинами решения полностью прозрачны.

Откройте многомерные пространства

Чтобы понять, как гипервекторы делают возможными вычисления, давайте вернемся к изображениям с красными кругами и синими квадратами.