Система машинного обучения, обученная на миллионах записей кашля человека, уже определяет туберкулез и COVID. Исследовательская группа под руководством ученых из Google разработала инструмент машинного обучения, который помогает обнаруживать и контролировать состояние здоровья, оценивая такие шумы, как кашель и дыхание. Система Health Acoustic Representations (HeAR), обученная на миллионах аудиозаписей человеческих звуков, если подтвердит эффективность, поможет врачами для диагностики заболеваний и оценки работы легких пациента.

Это не первая система, использующая звуки в качестве биомаркеров, но HeAR отличает количество аудиозаписей, использованных для обучения, а также выбор болезней, которые она может обнаруживать.

В традиционном подходе для обучения ИИ используют предварительно размеченные аудиозаписи — например, кашель пациента с диагнозом бронхит или туберкулез. Вместо этого исследователи Google использовали обучение с самоконтролем, которое опирается на неразмеченные данные. С помощью автоматизированного процесса они извлекли из видео на YouTube более 300 млн коротких фрагментов кашля, дыхания, покашливания и других звуков.

Для каждого клипа звук визуализировали в виде спектрограммы. Блокируя части таких картинок, исследователи обучали ИИ предсказывать недостающие сегменты. Это похоже на то, как если бы LLM для ChatGPT учили предсказывать следующее слово в предложении после обучения на множестве примеров текста.

Обученной таким образом сети требовалось небольшое количество специально размеченных данных, чтобы распознавать звуки болезней. Исследователи протестировали работу системы для диагностики коронавирусной инфекции, туберкулеза и определения курит ли пациент. Во всех тестах HeAR продемонстрировал более высокую точность работы, чем существующие инструменты анализа звуков.

Разработчики пока не планируют делать программу коммерческой. Она будет доступна для заинтересованных исследователей. В перспективе неивазивная диагностика на основе кашля и других звуков может помочь врачами, особенно в условиях ограниченных ресурсов.