Команда исследователей из Apple и Университета Карнеги-Меллона представила систему обучения ИИ, которая позволяет умным динамикам определять по звукам, что происходит, и предлагать пользователю варианты действий. По замыслу авторов, благодаря системе не нужно будет приобретать множество интеллектуальных устройств — достаточно будет одного умного динамика, например, HomePod.

Система под названием Listen Learner распознаёт окружающие звуки и интерпретирует их. Для этого система однократно взаимодействует с пользователем, спрашивая, что она только что услышала, и маркирует звук. Предварительно обученная модель Listen Learner также даёт системе возможность предположить, что может означать тот или иной шум. Это позволяет уменьшить взаимодействие с пользователем, сделать его менее открытым: услышав шум, система задаст уточняющий вопрос, например, «это закрылась дверь?», который потребует от пользователя только ответа «да» или «нет». CNN (сверточная нейронная сеть), которая использовалась при создании Listen Learner, была обучена на наборе данных YouTube-8M и дополнена библиотекой профессиональных звуковых эффектов.

Уточняющие вопросы могут быть более развёрнутыми в некоторых ситуациях — например, когда звуки похожи, но всё же означают разные события, скажем, когда системе нужно определить, закрылась входная дверь или дверца шкафа. Со временем система сама сможет сделать предположение о природе звука и представить его пользователю для подтверждения. Интерпретировав звук, система предложит владельцу варианты соответствующих действий.

Как указывают исследователи, благодаря Listen Learner необязательно заменять все устройства в доме на дорогие интеллектуальные — достаточно будет одного умного динамика, например, HomePod, который за счёт мощного микрофона будет улавливать звуки, определять, что происходит, и сообщать владельцу. В видео, посвящённом Listen Learner, показано, как умный динамик благодаря Listen Learner распознаёт сигнал микроволновки и предупреждает пользователя, что еда готова. В другом примере динамик распознаёт стук в дверь и предлагает несколько вариантов действий. Также динамик может распознать звук включённой воды. Впоследствии динамик сможет понять, как долго должна набираться ванна, и предупреждать владельца, если он забудет выключить кран.

Ещё один вариант применения системы заключается в распознавании шагов отдельных членов семьи. По замыслу авторов разработки, отпадёт необходимость в интеллектуальной системе камер с распознаванием лиц, вместо неё HomePod будет определять, кто идёт, по звуку шагов.

В статье, посвящённой исследованию, авторы разработки указывают на то, что, хотя интеллектуальные устройства появляются всё чаще домах и офисах, им, как правило, не хватает точности в восприятии контекста — понимание того, что происходит вокруг них, «минимально». Система Listen Learner, таким образом, поможет определять звуки точнее без чрезмерной нагрузки на пользователя.

Помимо этого, авторы также коснулись и вопросов конфиденциальности, которые могут возникнуть при внедрении такой системы, если учесть, как часто будет включаться микрофон и какой объём данных об окружении пользователя будет обрабатывать система. Как отмечают исследователи, обработать всю информацию локально на устройстве не всегда будет возможно.

«Хотя наша система распознавания акустической активности повышает точность классификации звуков и даёт больше возможностей для дополнительного обучения, захват и передача аудиоданных, особенно разговоров, должны вызывать вопросы, связанные с конфиденциальностью. В идеальном варианте все данные будут храниться на устройстве. Тем не менее, для обучения могут потребоваться значительные вычисления. Они могут проводиться в облаке с помощью анонимных пользовательских меток, которые могут храниться локально».