Американские ученые создали физическую реализацию многослойной нейросети, в которой сигналы передаются с помощью терагерцового излучения. Изначально алгоритм обучают на компьютере, а затем на 3D-принтере создают физическое воплощение обученной модели, состоящее из пластин, в которых толщина разных областей отражает обучаемые параметры модели. Эксперименты показали, что пятислойная сеть такой архитектуры способна распознавать рукописные цифры на изображении с точностью выше 86 процентов, рассказывают авторы в журнале Science.

Современные нейросети представляют собой алгоритмы, предназначенные для выполнения на компьютерах с классической архитектурой. Но некоторые ученые занимаются исследованием физических реализаций нейросетей, например, оптических. Одно из потенциальных преимуществ таких нейросетей заключается в том, что скорость их работы ограничена скоростью распространения света, которая гораздо выше скорости распространения электронов в металлических проводниках. Несмотря на то, что некоторые работающие прототипы таких сетей уже созданы, эта область крайне слабо развита и ученые продолжают создавать новые способы реализации нейросетей в виде физических объектов.

Группа исследователей из Университета Калифорнии в Лос-Анджелесе под руководством профессора Айдогана Озджана (Aydogan Ozcan) создала нейросеть, состоящую из напечатанных на 3D-принтере пластин, и использующую в качестве сигнала терагерцовое излучение. Принцип работы сети несколько отличается от классических нейросетей, но между ними можно провести аналогии.

Модель разработанной учеными сети состоит из пластин, подобных слоям обычных нейросетей. При этом каждая пластина не равномерна, а варьируется по толщине. Распространение сигнала по слоям сети основано на принципе Гюйгенса — Френеля, согласно которому попадающее на пластину излучение образует вторичные источники излучения, которые можно рассматривать в качестве аналогов нейронов. Нейроны соседних слоев соединены между собой вторичной волной, характеристики которой зависят как от входного сигнала, поступившего на слой, так и от толщин областей пластины, которые можно рассматривать в качестве смещения (bias), задаваемого в процессе обучения сети. Сигнал в такой сети можно кодировать с помощью амплитуды и фазы излучения.

Xing Lin et al. / Science, 2018

Сравнение архитектуры классических нейросетей с созданной учеными нейросетью. Xing Lin et al. / Science, 2018

Для того, чтобы подготовить модель к физическому воплощению, сначала ученые обучали ее на компьютере. Они проверили подход на нескольких популярных задачах машинного обучения, в том числе на распознавании рукописных изображений цифр из датасета MNIST. Ученые создали с помощью фреймровка машинного обучения TensorFlow сеть, которая на входе принимает изображение рукописной цифры, а на выходе выдает соответствующую одной из десяти цифр область, которая в физическом воплощении соответствует одному из десяти детекторов излучения.

Схема работы сети для распознавания рукописных цифр. Xing Lin et al. / Science, 2018

После того, как исследователи получили натренированную модель для распознавания цифр, они напечатали на 3D-принтере пластины размером восемь на восемь сантиметров, соответствующие слоям нейросети. Каждый нейрон на пластине представляет собой квадрат со стороной 400 микрометров, толщина которого зависит от параметров, полученных во время обучения модели. В качестве источника сигнала ученые использовали терагерцовый излучатель, выдающий импульсы с частотой 0,4 терагерца. Между излучателем и первой пластиной нейросети был установлен трафарет с цифрами, пропускающий излучение только в местах вырезов.

На изображениях можно видеть послойный процесс распознавания цифр на примере компьютерной модели, которую в дальнейшем использовали для 3D-печати:

Входные данные. Слева показана амплитуда сигнала, а справа фаза. Xing Lin et al. / Science, 2018

Первый слой нейросети. Xing Lin et al. / Science, 2018
.[image]

Второй слой нейросети. Xing Lin et al. / Science, 2018

Последний слой нейросети. Xing Lin et al. / Science, 2018

Натренированная компьютерная модель показала точность распознавания цифр из датасета 91,75 процента. Авторы сравнили эффективность с напечатанной пятислойной нейросетью, создав трафареты для 50 цифр, отобранных из числа тех, которые успешно распознала компьютерная модель. Точность напечатанной реализации нейросети на этих цифрах оказалась равной 86,33 процента.

Несмотря на то, что разработка ученых носит чисто исследовательский характер, потенциально физические реализации нейросетей могут быть использованы в условиях, при которых работа обычных компьютеров затруднена. В прошлом году NASA объявило о разработке механических компьютеров, которые позволят зондам, исследующим Венеру, работать в жестких условиях этой планеты.

Автор: Григорий Копиев