В зависимости от возраста людям нужно спать от 7 до 13 часов в сутки. Пока тело расслабляется и отдыхает, мозг, напротив, трудится: запоминает все, чему мы научились за день и реорганизует воспоминания наиболее эффективным образом. Искусственные нейросети в какой-то мере повторяют архитектуру человеческого мозга. В ряде областей они достигли впечатляющих результатов и превзошли людей, но в одном ключевом аспекте ИИ пока отстают.

Речь идет о феномене катастрофического забывания, ситуации, когда нейронные сети записывают новую информацию поверх предыдущей. Ученые из США нашли решение этой проблемы.

«Человеческий мозг, напротив, учится последовательно и интегрирует новые данные в существующее знание, — сказал Максим Баженов, профессор медицины из Калифорнийского университета в Сан-Диего, — и обычно лучше всего учится, когда новые навыки перемежаются с периодами сна для консолидации памяти».

Баженов и его коллеги опубликовали статью, в которой описывают, как новые биологические модели могут способствовать снижению риска катастрофического забывания в нейросетях и повышению их эффективности в различных научно-исследовательских проектах, пишет EurekAlert.

Ученые взяли за основу импульсные нейронные сети, которые имитируют естественные нейронные системы. Информация в них передается в виде дискретных событий, или импульсов, вместо того чтобы поступать непрерывно. Исследователи обнаружили, что благодаря периодам бездействия, которые имитировали сон, удается предотвратить процессы катастрофического забывания. Как и у людей, сон нейросети позволяет ей проиграть старые воспоминания, не используя в явной форме старые данные.

«Когда мы изучаем новую информацию, нейроны активируются в определенном порядке, это увеличивает синапсы между ними, — сказал Баженов. — Во время сна заученные во время бодрствования паттерны импульсов спонтанно воспроизводятся. Это называется реактивацией или повтором. Синаптическая пластичность, то есть способность к изменению или формированию, действует во время сна и может еще больше увеличить паттерны синаптического веса, которые образуют память, чтобы помочь предотвратить забывание или обеспечить перенос знания с старых на новые задачи».

Применив этот подход к искусственным нейросетям, ученым удалось защитить их от процесса катастрофического забывания. Это значит, что нейросети могут обучаться непрерывно, как люди или животные, но для этого нужно давать им отдыхать.