Компания NVIDIA сегодня представила новейшие решения для платформы глубокого обучения на базе архитектуры Pascal — графические ускорители NVIDIA Tesla P4 и P40 и программное обеспечение, которое значительно ускоряет и оптимизирует анализ информации для сервисов, использующих искусственный интеллект (ИИ).

Ускорители Tesla P4 и P40 специально созданы для ускорения операций инференса — применения обученных глубоких нейронных сетей для распознавания речи, изображений и текста. Заявлено, что новые графические процессоры использую специальные инструкции инференса на базе 8-битных (INT8) данных, обеспечивая ответную реакцию в 45 раз быстрее по сравнению с CPU и в 4 раза быстрее по сравнению с GPU, представленными меньше года назад.

При потреблении ускорителей Tesla P4 от 50 Вт, по оценкам NVIDIA, они в 40 раз экономичнее центральных процессоров в задачах использования результатов обучения нейронных сетей при обработке данных. Сервер с одним Tesla P4 может заменить 13 серверов на базе CPU, предназначенных для анализа данных, что сокращает общую стоимость владения в 8 раз, включая затраты на сервер и электричество.

Tesla P40 обеспечивает максимальную пропускную способность для задач глубокого обучения. С производительностью в 47 тера-операций в секунду (TOPS) с инструкциями INT8 сервер с восемью ускорителями Tesla P40 может заменить 140 серверов на базе CPU. С учетом средней стоимости одного сервера с CPU порядка $5000, общая экономия составит более $650 000.

Решения Tesla P4 и P40 дополняют два новых программных продукта, предназначенных для ускорения работы ИИ-сервисов: NVIDIA TensorRT и NVIDIA DeepStream SDK.

TensorRT — это библиотека, созданная для оптимизации моделей глубокого обучения, которая обеспечивает мгновенную ответную реакцию для самых сложных сетей. Она увеличивает пропускную способность и эффективность приложений глубокого обучения путем оптимизации обученных нейронных сетей — обычно в форме 32-битных или 16-битных операций — для операций INT8 пониженной точности.

NVIDIA DeepStream SDK позволяет одновременное декодирование и анализ до 93 видеопотоков в разрешении HD в реальном времени, в отличие от семи потоков в случае с серверами на базе двух CPU. Это позволяет решить одну из сложнейших задач в области применения искусственного интеллекта: восприятие масштабируемого видеоконтента — что является критически важным для таких областей применения ИИ, как самоуправляемые автомобили, интерактивные роботы, фильтрация и размещение рекламы.