Компания Microsoft анонсировала экспериментальную среду для управления роботами и дронами при помощи языковой модели ChatGPT, разработанного специалистами OpenAI. Получая инструкции от человека, чатбот пишет код, управляющий движениями роботов. В демо-ролике робот-манипулятор под управлением ChatGPT складывает кубики в логотип «Майкрософт» и запускает дрон для инспекции побережья.

Для того чтобы заставить ChatGPT взаимодействовать с робототехникой, исследователи обучили его особому интерфейсу. Получая команды вроде «подними мяч», ChatGPT самостоятельно генерирует программный код так же, как сочиняет поэмы или пишет эссе. Затем человек проверяет код на точность и безопасность, после чего отправляет его роботу и следит за выполнением задачи.

Таким образом, система ускоряет программирование робототехники, но не передает весь контроль в руки искусственного интеллекта, пишет Ars Technica.

«Мы подчеркиваем, что использование ChatGPT для робототехники — не полностью автоматизированный процесс, — говорится в статье, — но скорее служит инструментом для улучшения эффективности человека».

Хотя в основном обратную связь ChatGPT получает от человека, в некоторых случаях исследователи отмечают наличие непосредственного воздействия визуальных данных на ИИ. В одном из примеров чатбот отправил робота ловить мяч, руководствуясь только видеозаписью мяча и окружающей обстановки. Такое поведение указывает на возможность формирования у ИИ имплицитной модели мира не только через речевой канал. Пока результаты кажутся скромными, но это первые шаги к объединению генеративных моделей с физическими интерфейсами.

«Наша цель в этом исследовании — понять, может ли ChatGPT думать за пределами текста и рассуждать о физическом мире, чтобы помогать роботам выполнять задачи, — говорится в блоге Microsoft Research. — Мы хотим упростить людям взаимодействие с роботами без необходимости изучения сложных языков программирования или нюансов роботизированных систем».