Блог компании MWS. Автор: @randall. Большие языковые модели (LLM) требуют значительных вычислительных мощностей. И это лишь часть затрат. Бурный рост продуктов генеративного искусственного интеллекта приводит к огромным расходам энергии — энергопотребление ЦОДов постепенно достигает гигантских объемов.

Дата-центры потребуют модернизации — например, сочетания нескольких возобновляемых источников энергии. Другие решения появляются на стыке нескольких технологий: системы ИИ могут управлять переключением между различными источниками энергии в поисках оптимального сценария питания.

По прогнозам Dell'Oro Group, к 2027 году инвестиции в ИТ-инфраструктуру для ИИ приведут к увеличению капитальных затрат на дата-центры до 500 млрд долларов.

Сегодня расскажем про тренды оптимизации, которые не только удовлетворят растущий спрос, но и позволят строить дата-центры в больших количествах и гораздо большем масштабе, чем сейчас.

Энергопотребление в эпоху ИИ

Исследовательская фирма Epoch AI в 2022 году подсчитала, что вычислительная мощность, используемая для создания новой передовой модели ИИ, должна удваиваться каждые 6–10 месяцев. А вместе с увеличением мощностей растут энергозатраты.

Большие языковые модели требуют гораздо больше энергии, чем традиционные поисковые системы. По оценкам Международного энергетического агентства (МЭА), один запрос к ChatGPT потребляет почти в 10 раз больше энергии, чем один поисковый запрос в Google.

Потребляемая мощность LLM существенно зависит от размера модели. По данным OpenAI, GPT-2, который имеет 1,5 млрд параметров, потреблял 28 000 кВт⋅ч энергии для обучения. Для сравнения, GPT-3, который имеет 175 млрд параметров, потреблял уже 284 000 кВт⋅ч энергии.

Отчет МЭА показывает, что в 2022 году дата-центры потребили 460 тераватт-часов (ТВт⋅ч) — 2% от всего мирового потребления электроэнергии. МЭА прогнозирует: объем энергии, потребляемой дата-центрами, в результате роста ИИ-систем может увеличиться более чем вдвое за три года. Мировые дата-центры будут потреблять 1000 ТВт⋅ч, что эквивалентно годовому потреблению электричества в Японии. В свою очередь Uptime Institute считает, что к 2025 году на долю ИИ будет приходиться 10% глобального энергопотребления в индустрии дата-центров.

Впрочем, рост не должен вызвать острого дефицита. Такая картина объясняется тем, что современные дата-центры можно оптимизировать. Предлагается немало вариантов — от погружного охлаждения до ядерной энергии.