Fujitsu объявила о разработке высокоэффективного механизма распределения памяти для «глубинных нейронных сетей» (Deep Neural Networks, DNN). Для сетей DNN, используемых в различных областях сферы искусственного интеллекта, включая распознавание и классификацию речи и объектов, требуется значительный объем вычислительных ресурсов. Это создает большую нагрузку на существующие вычислительные инфраструктуры. В рамках нового решения от Fujitsu Laboratories of Europe для глубинного обучения модельный параллелизм используется в задачах автоматического распределения нагрузки на память сетей DNN. В результате, возможности существующих инфраструктур для обработки данных, обрабатываемых приложениями искусственного интеллекта, значительно расширяются без необходимости в дополнительных инвестициях.

Тсунео Наката (Tsuneo Nakata), главный исполнительный директор Fujitsu Laboratories of Europe, рассказывает о преимуществах новой технологии глубинного обучения:

«За последние годы мы наблюдаем появление все новых и новых разработок, в которых используются аппаратные ускорители для поддержки большого объема вычислений сетей DNN. Постоянное увеличение расходов на вычисления в сетях DNN представляет собой серьезную проблему, особенно когда размер модели сети DNN увеличивается до такого размера, что она не может поместиться в памяти одного ускорителя. При решении проблем, связанных с искусственным интеллектом, требуются более широкие и глубокие нейронные сети, а также более точная классификация категорий. Наша разработка позволяет напрямую решить эту проблему, распределяя требования к памяти сетей DNN по нескольким вычислительным машинам. С помощью нашей технологии можно увеличить размер нейронных сетей до нескольких вычислительных машин для создания более точных и масштабных моделей сетей DNN».

Новое решение позволяет распределить память путем преобразования беспорядочно организованных нейронных сетей в эквивалентные сети, в которых отдельные или все уровни заменяются набором более мелких подуровней. Эти подуровни созданы таким образом, чтобы быть полным аналогом оригинальных уровней, но отличаются гораздо более высокой эффективностью вычислений. Важно отметить, что, т.к. оригинальные и новые уровни происходят из одного и того же профиля, процесс обучения новых распределенных сетей DNN конвергирует с оригинальной сетью DNN без каких-либо дополнительных расходов.

В Fujitsu Laboratories of Europe была проведена проверка новой технологии, включая тестирование нового механизма Caffe. Это программная оболочка для глубинного обучения, построенная на основе открытого исходного кода и широко используемой во всем мире. Новое решение обеспечило эффективность распределения ресурсов памяти на уровне 90% при разделении полностью соединенных уровней AlexNet на нескольких графических процессорах NVIDIA. Новая технология является аппаратно-независимой, поэтому она способна использовать вычислительные ресурсы как традиционного оборудования, так и новых аппаратных ускорителей, включая графические процессоры NVIDIA, Intel Xeon Phi, FPGA, ASIC и другие альтернативные решения, предназначенные для глубинного обучения.

Новая разработка может использоваться для медицинской аналитики (например, для обнаружения диабетической ретинопатии); анализа и классификации спутниковых снимков; обработки естественного языка; обработки больших объемов данных на основе графов, включая устройства на основе Интернета вещей, финансовые транзакции, социальные сети и т.д.