В Массачусетском технологическом институте (MIT) разработан алгоритм автоматического конструирования систем машинного обучения, более точных и эффективных, чем те, которые создают профессионалы. О своем решении группа инженеров MIT рассказала в статье, представленной на Международной конференции по представлениям обучения.

Поиск оптимальной архитектуры нейросетей (NAS) известен крайней вычислительной трудоёмкостью. Один из самых совершенных алгоритмов NAS, недавно разработанный в компании Google, потратил на поиск одной единственной свёрточной нейросети (CNN) для классификации изображений и распознавания объектов 48 тысяч часов машинного времени графических процессоров (GPU).

Продемонстрированный на конференции алгоритм справился с той же задачей всего за 200 GPU-часов. Такой выигрыш в вычислительной эффективности расширяет область применения новой технологии, делая её доступной для разработчиков, которые не могут, подобно Google, задействовать для решения задачи сотни параллельно подключенных GPU.

Инженеры обучили свой алгоритм для задач классификации изображений на наборе данных ImageNet, который содержит миллионы картинок в тысяче классов. Сначала они создали пространство поиска, содержавшее все возможные «пути» CNN — способы соединения слоёв и фильтров для обработки данных. Это предоставило NAS-алгоритму свободу выбора оптимальной архитектуры.

Важной находкой стало использование задержки на каждой аппаратной платформе в качестве сигнала обратной связи для оптимизации архитектуры.

Исследователи построили модель, которая предсказывает время ожидания, используя только один мобильный телефон. Для каждого слоя нейросети алгоритм сверял измеренную задержку с прогнозом этой модели. Полученная информация использовалась, чтобы выбрать архитектуру, имеющую максимально возможное быстродействие в сочетании с высокой точностью. Полученная в эксперименте CNN смогла обогнать лучшую стандартную модель на мобильных устройствах почти в два раза.

Испытания нового алгоритма дали ещё один интересный результат. Некоторые из выбранных им архитектур уже давно считались неэффективными, но, как оказалось, они могут быть наилучшим вариантом для оборудования определённого типа. Например, было установлено, что практически никем не используемые из-за вычислительной затратности архитектуры с несколькими слоями фильтров 7×7 оптимально работают на графических процессорах. Это связано с тем, что GPU имеют высокую степень распараллеливания задач и поэтому могут обрабатывать за один раз большой фильтр быстрее, чем нескольких небольших фильтров один за другим.

Авторы отмечают, что подобные NAS-алгоритмы никогда не заменят людей, но освободят их от рутинных и утомительных аспектов работы по созданию и настройке архитектуры нейросетей.