Лаборатория исследований искусственного интеллекта Tinkoff Research (TR) — это один из немногих исследовательских коллективов в РФ, которые справляются собственными силами, в рамках компании. На днях группа специалистов представила новый алгоритм для обучения ИИ-агентов. Метод назвали ReBRAC — это сокращение от англоязычного словосочетания, которое означает «пересмотренный актор-критик с контролируемым поведением».

Как утверждают в компании, новый алгоритм «натаскивает» ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов. Тестировали схему обучения на виртуальных роботах.

В TR рассказали о работе над новой методикой, что после ревизии известных алгоритмов уделили в них внимание четырём компонентам, которых ранее оценивались как менее значительные. Речь о так называемых глубине нейронных сетей, регуляризации актора и критика, увеличении эффективного горизонта планирования и использовании нормализации слоев. Если более простыми словами, то исследователи достигли успеха за счёт умножения слоёв нейросети, благодаря чему она эффективнее воспринимает закономерности в данных. А обучение активного компонента ИИ происходит таким образом, чтобы он не предпринимал нежелательных действий.

Также была важна способность предоставлять более эффективную обратную связь. Что касается упомянутого планирования, то его горизонт позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи. А задействованная нормализация слоёв сделала процесс обучения нейросетей устойчивее.

Результаты российского исследования алгоритма презентовали на 37-й конференции NeurIPS–2023 в США, которая проходила с 10 по 16 декабря в Новом Орлеане. Из 13 тыс. научных статей рецензенты отобрали для форума по машинному обучению и нейровычислениям 3500 работ, в том числе четыре исследования TR.

Об авторитетности конференции NeurIPS говорит тот факт, что идея её возникла ещё в 1986-м. Проводимую теперь каждый декабрь NeurIPS создавали как дополнительное открытое междисциплинарное совещание для изучающих биологические и искусственные нейросети.

Кроме описанного выше метода ReBRAC, россияне из TR продемонстрировали на экспертном форуме две общедоступные библиотеки для офлайн-обучения в помощь специалистам по развитию ИИ.