Nvidia анонсировала проект GR00T — мультимодальный искусственный интеллект, предназначенный для гуманоидных роботов. Роботы на базе GR00T смогут понимать естественный язык и имитировать движения, наблюдая за действиями человека, быстро обучаться координации, ловкости и другим навыкам, чтобы взаимодействовать с реальным миром и легко адаптироваться.

В своем выступлении на конференции GTC глава Nvidia Дженсен Хуанг продемонстрировал несколько роботов-гуманоидов с приводом от GR00T, выполняющих различные задачи, в том числе от Agility Robotics, Apptronik, Fourier Intelligence и Unitree Robotics.

Проект GR00T использует базовую модель общего назначения, которая позволяет роботам-гуманоидам принимать текст, речь, видео или даже живые демонстрации в качестве входных данных и обрабатывать их для выполнения конкретных общих действий. Это не только расширит возможности роботов-гуманоидов, но и облегчит их разработку и внедрение. По сути, используя текст и демонстрацию в качестве входных данных, роботов может программировать любой человек при наличии соответствующего доступа.

Компания пока не может поделиться дополнительной информацией о внутренней архитектуре, но в будущем станет известно больше подробностей. В настоящее время только избранные разработчики гуманоидов имеют ранний доступ к модели, но Nvidia планирует в ближайшее время расширить ее доступность.

Чтобы обеспечить функционирование сложных моделей вроде GR00T, Nvidia также разработала вычислительную платформу Jetson Thor специально для гуманоидов.

Она основана на чипе Thor SoC и включает в себя высокопроизводительный кластер ЦП и новейший графический процессор, созданный на основе архитектуры Nvidia Blackwell с преобразовательным механизмом, обеспечивающим производительность 800 терафлопс 8-битного искусственного интеллекта. Производительность графического процессора системы в 8 раз выше, чем у предыдущей версии Jetson Orin, а производительность процессора — в 2,6 раза выше.

GR00T был разработан с помощью инструментов Isaac Robotic Platform от Nvidia, включая новую лабораторию Isaac Lab для обучения с подкреплением. В рамках платформы были разработаны два сценария использования: Isaac Manipulator и Isaac Perceptor. Isaac Manipulator предлагает графически ускоренные библиотеки и базовые модели, которые помогают производителям роботов-манипуляторов улучшить функциональность своих продуктов с помощью новых движений и ловкости. Библиотеки включают модели для обнаружения и отслеживания объектов, оценки их 6D-позы и создания точных прогнозов для лучшего понимания окружающей среды. Perceptor берет на себя задачу управления роботами в неструктурированной среде. Для трехмерного восприятия и объемного зрения используются многокамерный обзор на 360 градусов и ускоренные алгоритмы искусственного интеллекта.

Nvidia уже работает с несколькими партнерами, включая ArcBest, BYD и KION Group. Ожидается, что новые возможности платформы Isaac будут доступны во втором квартале этого года, а Project GR00T останется в раннем доступе. Nvidia принимает заявки, чтобы предоставить большему количеству разработчиков доступ к этой технологии, но сроки более широкого публичного выпуска пока неизвестны.