Британские ученые обучили робота-повара смотреть и учиться на кулинарных видеороликах, а также воссоздавать само блюдо, сообщает Кембриджский университет. Результаты работы опубликованы в журнале IEEE Access.

С помощью нейросети ученые запрограммировали своего робота-шефа «поваренной книгой» из восьми простых рецептов салатов. Нейросеть могла различать фрукты и овощи, которые использовались в рецептах, а также кухонные приборы. После просмотра видеоролика, в котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и сделать по нему блюдо.

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты, такие как нож и ингредиенты, а также руки, кисти и лицо человека. И рецепты, и видео были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.

Правильно определяя ингредиенты и действия человека-повара, робот мог понять, какой из рецептов готовился на видео. Робот мог сделать вывод, что если человек держит нож в одной руке, а морковь в другой, то морковь сейчас нарежут.

Из 16 просмотренных видео робот распознал правильный рецепт в 93% случаев, хотя он обнаружил только 83% действий человека-повара. Робот также смог обнаружить, что небольшие изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Также робот правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.

Авторы работы отмечают, что видео, по которым обучался робот, не похожи на те видеоролики о еде, которые мы смотрим в соцсетях – с быстрой нашинковкой, визуальными эффектами и быстрыми сменами планов с человека на блюдо. Например, роботу было бы трудно идентифицировать морковь, если бы человек в видео обхватил ее рукой. Чтобы робот мог определить морковь, человек-повар должен был ее поднять – роботу необходимо было увидеть весь овощ.