Ученые из США обучили робота слуху и обнаружили, что эффективность его работы выросла практически в два раза. Он смог предсказывать физические свойства предметов только на основе звуков.

Исследователи Университета Карнеги-Меллона (CMU) обнаружили, что восприятие робота может заметно улучшиться, если добавить устройству слух. В первом крупномасштабном исследовании взаимодействия звука и действий робота, проведенном в Институте робототехники CMU, исследователи обнаружили, что звуки могут помочь роботу отличить даже такие похожие объекты, как металлическая отвертка и металлический ключ.

Слух также может помочь роботам определить, какие действия должен вызвать звук, и использовать их для прогнозирования физических свойств новых объектов. Исследователи отметили, что скорость работы выросла в два раза, а устройства начали классифицировать объекты только на слух в 76% случаев.

Для проведения своих исследований ученые создали большой набор данных, записывая видео и аудио 60 распространенных предметов — игрушек, ручных инструментов, обуви, яблок, теннисных мячиков. К каждому из этих предметов записали целый набор звуков — как они скользили, скатывались или врезались друг в друга. После этого робот проанализировал этот набор данных и научился обращаться с ним.

Это самый большой набор звуковых данных, на которых тренировались роботы. Исследователи были удивлены, насколько выросла эффективность работы устройств. Они обнаружили, например, что робот может использовать то, что он узнал о звуке одного набора объектов, чтобы сделать прогнозы о физических свойствах других предметов, которых он никогда не видел и не трогал.