Автор: @Lit9898. Недавно, когда я размышлял над работой памяти в мозге человека, мне пришла идея того, как можно сделать нейронную сеть, которая будет обладать способностью самообучаться. В этой статье я бы хотел представить свои размышления и идею, к которой я пришёл. Скорее всего, нечто подобное уже придумывали и у подобной идеи есть проблемы, которые не позволяют использовать её на практике (их я тоже обсуждаю ниже), тем не менее, мне кажется, что многим может быть интересна данная тема.

Хочу сразу сказать, что я не профессионал в сфере AI, а лишь увлекаюсь ИИ как хобби — для меня это интересное дело, заниматься которым я могу часами, из за чего мне хотелось бы поделиться с вами своими мыслями на этот счёт. Поэтому прошу, не судите строго. Приятного прочтения!:)

Как работает память человека?

В человеческом мозге есть два вида памяти: кратковременная и долговременная. Чтобы ответить на вопрос: «Как работает память человека?» — можно попробовать поразмышлять: как именно мы заносим информацию в кратковременную и долговременную память. Кому это знать, как не самому человеку. Начнём с кратковременной.

Кратковременная память

Когда мозг воспринимает какую либо информацию или вспоминает что то, первым делом все эти данные попадают в кратковременную память, используя которую, человек может производить какие либо манипуляции — размышлять о чём то. Этот вид памяти очень быстрый и эффективный, так как работает за счёт хранения информации в виде текущей активности мозга. Тем не менее, он обладает огромным недостатоком — объём. Действительно, объём кратоквременный памяти очень маленький. Такой вид памяти можно сравнить с механизмом внимания в современных архитектурах нейронных сетей для обработки последовательности данных.

Долговременная память

Помимо кратковременной, в мозге человека есть ещё и долговременная память — с ней всё куда сложнее и запутанней. Попробуем выяснить, как именно происходит вспоминание и запоминание — для этого обратимся к тому, как мы это ощущаем.

Конечно, в действительности размышления в таком ключе не позволят понять, как именно работает долговременная память: в мозге человека всё устроено куда сложнее того, что можно узнать лишь из ощущений. Тем не менее, сейчас это не имеет значения — даже наши ощущения могут подсказать нам механизм, который будет отражать основную суть процесса, что сейчас нам и нужно. Подумаем для начала о процессе вспоминания.

Когда мы вспоминаем, что мы ели вчера на ужин, то начинаем поиск в памяти. Как он происходит? С самого начала мы задаём вопрос долговременной памяти «Мне понравился ужин вчера?», на что получаем ответ «Да», который записывается в кратковременную память. Затем мы, используя эту информацию, начинаем задавать следующий вопрос долговременной памяти «А какие блюда я люблю?», на что получаем ответ «блюдо 1, блюдо 2, блюдо 3», который также записывается в кратковременную память. И наконец, уже используя всю информацию, которую мы достали, спрашиваем «Ел ли я вчера блюдо 1, 2 или 3?», на что получаем долгожданный ответ: «Из этих трёх блюд вчера на ужин ты ел только блюдо 2».

Таким образом, процесс вспоминания информации очень напоминает общение двух отдельных нейронных сетей: памяти и сознания. Сознание — нейронная сеть, которая обладает кратковременной памятью и занимается обработкой информации, а память — сеть, единственная роль которой — хранить информацию. Сознание может задавать вопросы долговременной памяти, на что та будет выдавать какую либо информацию, которая может как помочь в текущих размышлениях, так и найти другую информацию (как это было в примере выше).

Взаимодействие долговременной памяти и сознания

Хорошо, а как выглядит процесс запоминания информации? Это может происходить следующим образом. Допустим, вы размышляете и пытаетесь ответить на вопрос: «Сегодня стоит отдохнуть или позаниматься полезным делом?». Взвешивая все за и против, вы принимаете решение: сегодня половину дня лучше позаниматься, а остальную — отдыхать. В процессе размышления над этим вопросом вам приходилось держать в кратковременной памяти немало информации, тем не менее, вы сами решаете, что запомнить, а что забыть. В данном случае вам необходимо запомнить ответ на вопрос. Решение о запоминании ответа происходит незаметно для нас, но в конечном счёте его принимает именно сознание. Более явно это заметно на примере запоминания стиха, но суть остаётся та же.

Можно обратить внимание, что здесь, в процессе мышления человека, нет отдельного этапа «Обучение» как у нейронных сетей, после которого человек смог бы думать. Обучение человека происходит за счёт запоминания информации в долговременную память. То есть запоминание информации в долговременную память — это тоже самое, что и обучение. По этой причине нейронные сети, которые имеют подобный механизм кратковременной и долговременной памяти, могут быть способны к самообучению. Теперь можно попробовать придумать, как такой механизм мог бы работать в искусственных нейронных сетях.