Вместо того, чтобы тренировать нейросеть целиком, исследователи предлагают сконцентрироваться на отдельных ее компонентах. Сами они сравнивают такой подход с покупкой только выигрышных лотерейных билетов.

Большинство продуктов на основе искусственного интеллекта полагаются на глубокие нейронные сети, которые зачастую чрезмерно велики и для обучения нуждаются в дорогостоящих графических процессорах и больших массивах данных. Исследователи из Массачусетского технологического института предложили альтернативный подход, который позволит уменьшить размер и стоимость тренировки нейросетей.

Авторы исследования, о котором рассказывает Engadget, обнаружили, что нейронные сети содержат множество «подсетей». Каждая из них примерно в 10 раз меньше всей сети и, соответственно, требует меньше времени и процессорной мощности на обучение. При этом отдельные подсети могут делать такие же точные прогнозы, как и вся структура.

Специалисты из MIT сравнивают обучение нейросети с покупкой множества лотерейных билетов: если направить ресурсы на все подсети, то хотя бы одна из них начнет выдавать правильные результаты. Однако можно сэкономить время и деньги и тренировать отдельные подсети. Это сравнимо с покупкой только выигрышных билетов.

К сожалению, пока единственный способ получить доступ к таким подсетям — построить целую нейросеть и удалить ненужные элементы структуры. Научившись пропускать этот шаг, исследователи смогут сэкономить часы работы. И тогда создание эффективных нейросетей станет доступным не только крупным компаниям, но и отдельным программистам.