ARM анонсировала проект Trillium, объединяющий в себе группу программных решений и процессоров для обнаружения объектов (Object Detection, OD) и машинного обучения (Machine Learning, ML). Этим британская компания как бы навёрстывает отставание от других ведущих игроков индустрии — многие из них уже представили собственные процессоры, ориентированные на задачи искусственного интеллекта.

В отличие от них, ARM до сих пор ограничивалась полумерами, такими как ISA-расширения ARM v8.2, ускоряющие работу нейросетей, и GPU, оптимизированный для машинного обучения. Подобные новшества полезны, однако специализированный интеллектуальный чип, наподобие Kirin 970 от HiSilicon и NPE на Hexagon DSP от Qualcomm, ускоряет нейросети на порядок лучше, чем любой центральный процессор.

Как ARM объясняет сейчас, улучшение ARM v8.2 и GPU было лишь первым шагом к разработке комплексных решений для машинного обучения: их совершенствование осуществлялось параллельно с изучением необходимости в специализированном чипе.

В итоге компания анонсировала сразу две конструкции (IP) интеллектуальных чипов: ML и OD. Архитектура ML-процессора оптимизирует управление памятью при выполнении нагрузок машинного обучения, минимизируя входящие и исходящие данные — ключевое условие для достижения высоких производительности и эффективности. Теоретическая пропускная способность (для чипа с детализацией 7 нм) превышает 4,6 TOPs, энергоэффективность достигает 3 TOPs на ватт при мощности порядка 1,5 Вт.

ML-процессор может действовать как отдельный блок с собственным интерфейсом ACE-Lite в составе SoC либо быть интегрированным в кластер DynamiQ. Подробности ARM приберегла для будущих анонсов.

Чип OD стал результатом покупки в 2016 г. фирмы Apical. В отличие от ML IP, больше напоминающего полнофункциональный CPU, OD имеет архитектуру обычного визуального процессора, «заточенную» под обнаружение объектов. ML может делать это и сам, с помощью нейросети, но OD справляется с задачей ещё более быстро и эффективно.

В ряде сценариев ARM видит целесообразным работу OD и ML в тандеме: первый будет выделять области изображения, представляющие интерес, а второй подвергнет их более глубокой обработке.

Первое поколение интеллектуальных чипов компании ориентировано на мобильное применение, остальные приложения планируется охватить в будущем, путём упрощения или усложнения исходной мобильной архитектуры.

В рамках проекта Trillium, на веб-сайте для разработчиков ARM и на Github будет выложено большое количество ПО для реализации нейросетей на различных фреймворках ML.

OD IP поступит к партнёрам ARM в I квартале, а подготовка ML IP должна завершиться эти летом. Ориентируясь на стандартные сроки разработки SoC, можно надеяться увидеть реальные продукты лишь во второй половине 2019 г., уже после выхода ML-чипов большинства конкурирующих разработчиков.