Исследователи разработали? «мультимодальный алгоритм», который анализирует не просто слова, но также эмоции и позволяет с большей точностью обнаруживать сарказм. Исследователи из лаборатории речевых технологий Гронингенского университета разработали мультимодальный алгоритм для улучшения обнаружения сарказма, который исследует множество аспектов аудиозаписей для повышения точности.

Даже люди не всегда способны уловить иронию или саркастическую насмешку в словах собеседника. Тонкие изменения в стиле подаче или тоне собеседника также сбивают с толку компьютерные алгоритмы. Это серьезно ограничивает возможности виртуальных помощников и инструментов анализа контента.

Традиционные алгоритмы обнаружения сарказма часто полагаются на один параметр для получения результатов, и это основная причина, по которой они часто не справляются с задачей. Канадские ученые использовали два взаимодополняющих подхода — анализ настроений с использованием текста и распознавание эмоций с помощью звука — для более полной картины.

Исследователи извлекли из речи акустические параметры, такие как высота тона, скорость речи и энергия, а затем использовали автоматическое распознавание речи, чтобы транскрибировать речь в текст для анализа настроений.

«Далее мы присвоили каждому сегменту речи смайлы, отражающие его эмоциональное содержание», – объясняет Сиюань Гао, соавтор исследования.

Интегрируя мультимодальные сигналы в алгоритм машинного обучения, подход использует преимущества аудио и текстовой информации, а также смайликов для комплексного анализа.

Ученые уверены в производительности своего алгоритма, но признают, что есть возможности для улучшения. Они все еще работают над тем, чтобы повысить эффективность. Гао подчеркивает необходимость включения в модель различных выражений и жестов, признавая, что сарказм может быть разным в зависимости от культуры и контекста.