Авторы: Олег Тельминов, Игорь Матюшкин. «Связи — все! Элементы — ничто!» — лозунг радикального коннекционизма, одного из подходов в области искусственного интеллекта, когнитивной науки, нейробиологии и философии сознания. С практической точки зрения техническая реализация идей из перечисленных областей улучшит качество жизни человека. Это и компьютеры, и «умные» устройства, дома, города — все, что работает автономно относительно человека.

Нейроморфные и коннекционистские системы

Прямо сейчас мы наблюдаем активное развитие нейроинтерфейсов — связующего звена между мозгом человека и электронными устройствами. Такой двусторонний обмен позволит как дополнить мозг человека новыми функциями (например, способностью быстрого анализа ситуации и принятия обоснованных решений), так и восстановить утраченные вследствие заболеваний или травм возможности.

О направлении нейроморфных систем (НМ-систем) в 1990-х гг. впервые заявил профессор Карвер Мид. По сути это инженерная реализация модели работы человеческого мозга при обработке сенсорной информации или даже при ассоциациях образов, предсознательных процессах. Сегодня таковая часто опирается на спайковую модель нейрона. Нейроны вырабатывают импульсный, короткий сигнал только в те моменты, когда это необходимо. В предыдущей, формальной модели нейрона сигналы различной амплитуды выдавались постоянно, что приводило к излишним энергозатратам.

Современные НМ-системы аппаратно реализуются в виде искусственных нейронных сетей (ИНС), где в объеме чипа могут циркулировать не только электрические сигналы, но и оптические. В поиске элементной базы НМ-систем мы имеем дело с действительно быстро выполняющими вычисления компонентами фотоники, которые из цифровых становятся цифро-аналоговыми, поскольку спайковый нейрон имеет аналоговую функцию перехода. И в микроэлектронных схемах также отмечается переход к аналоговому вычислительному ядру, окруженному цифровой периферией для взаимодействия с остальными частями НМ-системы.

Если в природе клетки-астроциты обеспечивают функции метаболизма и энергоснабжения нейронов, то в инженерии НМ-систем остаются, например, вопросы эффективного отвода побочного продукта деятельности — тепла — от работающего электронного аналога нейрона, а также обучения — изменения параметров нейронов и связей. Мы видим, что НМ-система есть нечто большее, чем аппаратная реализация ИНС.

Физические интерпретации работы человеческого мозга. Автор: О.А. Тельминов. Предоставлено О.А. Тельминовым

По мнению наших экспертов-собеседников, опора разработчиков ИНС лишь на схемы формального и спайкового нейронов сдерживает развитие НМ-систем. Необходим переход от простого подражания — биомиметики — к бионике (прикладная наука о применении в технических устройствах и системах принципов организации, свойств и структур живой природы). И такой переход реализуется с учетом теории коннекционистских систем (К-систем). Отметим, что К-система — это обобщение нейронной сети, клеточного автомата, сети Петри, распределенных вычислений и других методов. В связи с многогранностью такого обобщения за более чем вековое развитие направления так и не выработана общепринятая формализация К-системы. Однако предлагаемые идеи помогут по-новому, с другой точки зрения взглянуть на проблемы НМ-систем.

Отношение понятий К- и НМ-систем можно сравнить с термином «бит информации» и его физическим воплощением, с функцией обработки сигнала и реализующей такую функцию микросхемой. Специалисты надеются, что изучение поведения К-систем приведет к определению недостающих функций, в которых нуждается современная аппаратная реализация НМ-систем.

Предлагаемые принципы построения коннекционистских систем

Баланс между числом связей и сложностью элементов

Иерархия по убыванию сложности выглядит следующим образом: К-система, НМ-система, нейросеть. Поэтому К-система считается слишком высокоуровневой для реализации примитивных логических функций. В системах наблюдается обратная зависимость: при большом числе элементов и связей сложность элемента низкая. Отсюда вытекает центральная проблема К-систем, выделенная нашими экспертами-собеседниками: необходим поиск оптимального баланса между числом связей и сложностью элемента. В частности, определение такого баланса необходимо для наиболее сложных систем с множественным потоком команд и множественным потоком данных — MIMD (Multiple Instruction Multiple Data) в классификации вычислительных архитектур Флинна.

Количество связей в окружающем мире варьируется в широком диапазоне. В 2D- и 5D-гиперкубах связность вершин измеряется единицами и десятками. Нейрон человека имеет уже от одной до 10 тыс. связей. Количество нейронов в мозге человека оценивается в 100 млрд, столько и звезд в нашей Галактике. А в космосе выявлено сверхскопление галактик — Ланиакея.

Однородность элементов и связей: параметризуемость и обучаемость

Нервная система человека обеспечивает регуляцию деятельности организма. Она состоит из сотен типов клеточных структур, различающихся функциями, величиной, формой, количеством и ветвлением отростков (аксонов и дендритов). Легкость изменения параметров, их происхождение, обычно исходящее от структуры и технологии изготовления,  — эти вопросы ключевые при инжиниринге НМ-систем.

Свойство параметризуемости позволяет настраивать, адаптировать систему к решению задач определенного класса. В НМ-системах в качестве параметров выступают весовые коэффициенты в связях и пороговые значения срабатывания в узлах-нейронах, обеспечивая обучаемость через изменение параметров. Однако параметризуемость входит в скрытое противоречие с однородностью.

Традиционная алгоритмика и вычисления с помощью ИНС

С древних времен существует классический подход к решению задач. Математические точные выражения (предложенные, например, Пифагором) сначала облекаются в алгоритмы (термин ввел Лейбниц), затем в программу для ЭВМ. Но и человек, и разрабатываемые по альтернативной цепочке действий ИНС способны решать задачи не только с неточными исходными данными, но и с недостаточно четко поставленной конечной целью.

Ландшафт подходов к решению вычислительных задач. Автор: О.А. Тельминов. Предоставлено О.А. Тельминовым

В начале такой цепочки нейробиологи описывают и подтверждают модель работы нейрона. Хотя и разработан ряд сложных моделей нейрона, например Евгением Ижикевичем, но все же они относятся к биомиметике. Наши эксперты-собеседники напоминают, что с опорой на К-системы можно получить более эффективные результаты.

Затем математики переводят представление модели к виду, удобному для дальнейшего выполнения вычислений. Программисты предлагают программную реализацию модели. Специалисты по обработке данных (дата-сайентисты) указывают, какие данные и в каком виде необходимы для настройки параметров модели, которая и будет решать поставленную задачу. Далее в работу включаются мощнейшие компьютеры, перерабатывающие большие объемы данных с целью подготовки модели к использованию. Такая модель будет готова решать задачи на компьютере с более скромными характеристиками. Разумеется, и подготовка модели к использованию, и ее применение в готовом виде реализуются аппаратно на электронных и фотонных интегральных схемах.

Нейросети способны решать слабоформализованные задачи в области анализа и синтеза изображений, звука, речи, текста, выработки воздействий на объекты управления, а также оказывать поддержку в принятии решений человеком. К таким задачам относятся классификация и прогнозирование. Нейросети также применяются и при решении так называемых обратных задач — по имеющимся требованиям к конечному продукту определить шаги к его достижению.

В основе нейросети лежит набор эмпирически (опытным путем) определяемых коэффициентов — аналогов синаптических весов биологического нейрона. В каждом нейроне реализуется нелинейная функция активации с настраиваемым порогом срабатывания. Нейроны в современных глубоких нейросетях организуются в слои — входной, ряд скрытых и выходной. Входные сигналы, проходя через нейросеть, преобразуются в ответ. Если нейросеть предназначена для классификации входного изображения по десяти классам, то у нее будет столько же выходов, каждый из которых выдает вероятность принадлежности картинки к соответствующему классу.

Количество таких коэффициентов в нейросети — от сотен до сотен миллиардов. Для их настройки или, как говорят, обучения нейросети необходимо подготовить примерно такое же количество исходных примеров с правильными ответами. На каждый пример нейросеть выдает ответ в соответствии с текущими значениями коэффициентов. Алгоритм обучения нейросети сравнивает полученный результат с правильным ответом — в случае расхождения он перенастраивает значения коэффициентов так, чтобы ответ для данного примера был верным. Можно сказать, что именно обучение нейросети и замещает собой работу математика в области вывода подходящего для решения задачи выражения. При корректных настройках процесс обучения сходится, и с каждым новым примером точность работы нейросети увеличивается. При достижении заданного порога точности ответа нейросеть считается обученной и готовой к применению. Имеются варианты нейросетей, которые обучаются сразу в процессе работы, без предварительного обучения.

Исторически построение электронных процессоров ведется на архитектуре фон Неймана (1940-е гг.). От универсальных процессоров (CPU) перешли к специализированным для обработки цифровых сигналов (DSP) и векторной графики (GPU). Отдельной веткой можно считать процессоры для векторно-матричных умножений — тензорные процессоры и их вариации. Обучение нейросетей в подавляющем большинстве случаев выполняется на GPU, а применение обученных нейросетей — и на мощных GPU, и на более скромных тензорных процессорах.

Экосистема от моделирования нейросети до реализации. Автор: О.А. Тельминов. Предоставлено О.А. Тельминовым

С программной точки зрения необходима среда разработки, обучения, отладки и запуска нейросетей — так называемый фреймворк, в котором работают и программисты, и специалисты по анализу и обработке данных. Благодаря бесплатному использованию наиболее популярными считаются американские фреймворки. Обеспечивая импортонезависимость, Китай активно инвестирует в развитие двух собственных фреймворков. В России с середины прошлого десятилетия развиваются более четырех собственных фреймворков. Каждый разработчик фреймворка обеспечивает поддержку его работы с конкретными типами процессоров обработки нейросетей — это еще один драйвер развития собственных программных сред.

Комплексный подход к реализации НМ-систем

Наши эксперты-собеседники и их коллеги из АО «НИИМЭ» понимают, что необходимо изменить взгляд на проектирование в нескольких направлениях. Во-первых, нужно изучить режимы нелинейной динамики НМ-системы, начиная с ограниченного числа элементов. Во-вторых, вместо общепринятой иерархии слоев в нейросети глубокого обучения следует применить топологию гиперкуба, например размерности 5, с последующей реализацией в виде интегральной схемы. В-третьих, необходимо более широко рассмотреть возможности элементной базы на основе электроники и фотоники, включая аналоговые контуры с LRC-элементами, возможно, с функциями памяти, для реализации элементов и связей. Далее следуют классические этапы для устройств микроэлектроники и фотоники — решение вопросов технологии, надежности работы и деградации изделия. Такой подход позволит дать новый импульс к развитию существующих и разрабатываемых НМ-систем с опорой на более абстрактный аппарат К-систем.

Рассмотренные выше программные и аппаратные средства, не относящиеся к НМ-системам ввиду реализуемой ими формальной модели нейрона, а не современной спайковой, закрывают практически все современные потребности глобального рынка нейросетей. НМ-системы все еще принадлежат к развивающемуся сектору ввиду несовершенства новых архитектур, электронной компонентной базы на новых физических принципах, алгоритмов обучения, фреймворков и других факторов.

Существенным отличием нейроморфных архитектур от традиционной архитектуры фон Неймана можно назвать стремление физически совместить элементы, хранящие и обрабатывающие данные, в одном. Намечен также курс на аналоговые векторно-матричные вычисления, свободные от задержек на тактирование сигналов в цифровых синхронных схемах. У наиболее вероятного кандидата — мемристора — пока не удалось достичь приемлемых значений одновременно для шести ключевых потребительских характеристик.

Вовлеченность научного сообщества в нашей стране в разработку НМ-систем постоянно растет, в связи с чем необходимо предложить дополнительные возможности их разработки и исследований — например, с учетом возможностей К-систем.