Фирма Cerebras Systems, занимающаяся технологиями ускорения работы алгоритмов искусственного интеллекта, представила на конференции Hot Chips самый большой чип в истории полупроводниковой индустрии. Самый большой во всех отношениях: и по габаритам и по вычислительной плотности.

При площади 46225 квадратных миллиметров, он в 56,7 раз превосходит крупнейший графический процессор производства Nvidia, у которого на 815 мм² сосредоточено 21,1 млрд транзисторов. Чип Cerebras Wafer Scale Engine (WSE) имеет более 1,2 триллиона транзисторов на кристалле, изготовленном из целой кремниевой заготовки. Samsung уже имеет микросхему флэш-памяти, eUFS, с 2 трлн транзисторов, но в отличие от неё чип Cerebras осуществляет не только хранение, но и обработку данных.

Обычно, из одной заготовки получают множество чипов. При таком подходе имеющиеся в кремниевой пластине дефекты остаются в нескольких отбракованных микрочипах и удаётся поддерживать приемлемый уровень выхода годной продукции. Если делать чип из целой пластины, то в нем практически неизбежно окажется дефект, нарушающий функционирование устройства. Cerebras справилась с этим затруднением, сделав архитектуру чипа избыточной, благодаря чему отдельное примесное включение не мешает её работе.

Cerebras является давним партнёром TSMC, крупнейшего в мире контрактного производителя полупроводников. WSE изготовляют на мощностях TSMC с применением её продвинутой технологии с детализацией 16 нм.

Чип WSE содержит 400 тысяч гибких и программируемых вычислительных ядер SLAC (Sparse Linear Algebra Cores). Как понятно из названия, они оптимизированы для выполнения разреженных алгебраических операций, характерных для нейронных сетей. Благодаря этому достигается лучший в индустрии показатель полезного использования — в три или четыре раза больше, чем у графического процессора.

Собственное изобретение Cerebras — технология поиска разрежённости — позволяет исключить бесполезные операции умножения на ноль, чем обеспечивает гигантскую экономию вычислительного ресурса WSE. Нулевые данные, которые при глубоком обучении могут составлять от 50 до 98 процентов всех данных, отфильтровываются и перескакивают через этап аппаратного перемножения.

Cerebras Wafer Scale Engine содержит больше локальной памяти, чем любой чип в истории. Это делает возможными быстрые вычисления с наносекундной задержкой и сниженным расходом энергии. Все 18 ГБ встроенной одноуровневой памяти WSE доступны его ядрам за один такт, предоставляя совокупную пропускную способность 9 петабайт в секунду — в 10 тысяч раз больше, чем у лидирующих в отрасли GPU.

Все 400 тыс. ядер связаны высокопроизводительной коммуникационной структурой Swarm с пропускной способностью 100 ПБ/с. Межсоединения ядер SLAC конфигурируются программно, связывая их в соответствии со структурой выбранной пользователем нейронной сети. Энергетические затраты коммуникаций для архитектуры Swarm не превосходят одного пикоджоуля на бит, что почти в сто раз меньше, чем у графических процессоров.

«Каждое архитектурное решение было нацелено на оптимизацию производительности для ИИ, — сказал Эндрю Фельдман (Andrew Feldman), основатель и генеральный директор Cerebras Systems. — В итоге Cerebras WSE, в зависимости от рабочей нагрузки, в сотни или тысячи раз превосходит в производительности существующие решений, довольствуясь ничтожной долей потребляемой ими мощности и занимаемого пространства».