Поразительные способности бота ChatGPT вызвали волну интереса и инвестиций в ИИ. Однако, выступая на конференции MIT «Будущее бизнеса с ИИ», глава OpenAI предупредил, что стратегия, которая породила эту модель, уже исчерпала себя. По словам Сэма Альтмана, дальнейший прогресс искусственного интеллекта по экономическим причинам не будет зависеть от размеров и скорости обучения генеративных моделей. Откуда ждать следующего прорыва — неизвестно.

Хотя он не говорит об этом напрямую, одна из главных причин конца эпохи роста масштабов моделей — непомерные и невыгодные расходы на обучение крупных языковых моделей и на работу графических процессоров. К примеру, тренировка ChatGPT требовала свыше 10 000 видеокарт, и еще больше ресурсов нужно для постоянной работы бота. А стоимость новейшей модели графического процессора Nvidia H100 — $30 603.

Таким образом, от создания все более крупных генеративных моделей нас защищает экономический фактор. И, по мнению Альтмана, нам следует ожидать следующего рывка в ИИ с какой-то другой стороны. Возможно, прорыв обеспечит новая архитектура моделей, возросшая эффективность данных или прогресс в алгоритмических методах. Однако эра беспредельных данных и огромных по размеру моделей, которая преобразила индустрию ИИ за последнее десятилетие, подходит к концу.

«Я думаю, что приблизился конец эры, в которой существуют эти очень, очень большие модели, — сказал Альтман. — Мы будем улучшать их другими способами».

При этом глава OpenAI считает размер модели «ошибочным мерилом ее качества».

«Я полагаю, слишком много внимания уделяется подсчету параметров, возможно, число параметров и вправду увеличивается. Но это сильно напоминает мне погоню за гигагерцами в микрочипах в 1990-х и 2000-х годах, когда каждый пытался достичь наибольшего показателя», — сказал он.

Тем не менее, пока что без доступа к тысячам графических процессоров разработчикам ИИ не обойтись, пишет Venture Beat.

Во время той же конференции Сэм Альтман решительно пресек слухи о том, что его компания уже начала разработку языковой модели следующего поколения, GPT-5. Этого не происходит и не будет происходить еще какое-то время, заверил глава OpenAI. Однако работы над улучшением прошлой версии, GPT-4, которая появилась совсем недавно, активно ведутся.