Блог компании Сбер. Автор: Анна Колосова. На протяжении всего 2023 года искусственный интеллект на слуху у всех: дизайнеров, копирайтеров, программистов, теперь у артистов, музыкантов и композиторов. Музыка — целая вселенная, сложнее текстов и картинок. В ней множество разных стилей и направлений: блюз, джаз, кантри, рок и т.д. Тем не менее уже сейчас мы видим, что ИИ научился генерировать музыкальные композиции. В интернете представлены разные нейросети, которые сочиняют мелодии. Есть как платные, так и с открытым исходным кодом.

Например, GigaChat скоро научится генерировать музыкальные треки по текстовым запросам пользователей. В то же время Google тестирует новые функции генеративного искусственного интеллекта для YouTube, которые помогут людям сочинять мелодии по текстовым описаниям и простому напеву в микрофон.

В статье расскажем, как искусственный интеллект создает музыку, какие использует алгоритмы, где прослушать сгенерированные произведения и в каких сервисах можно самим протестировать нейросеть.

Может ли робот написать мелодию?

Нейросеть обучается на большом количестве разных аудиофайлов. Разработчики собирают композиции в общую базу и передают ИИ. Как правило, первые сгенерированные мелодии звучат неестественно для слуха людей. Чем дольше программа обучается, тем больше музыка становится похожей на человеческую.

Когда нейросеть запоминает структуру разных музыкальных произведений, она может писать подобные мелодии. Конечно, все зависит от шаблонов, которые ИИ предоставили. Если обучить программу на произведениях группы Битлз, то и генерировать она сможет только подобную музыку.

Генерация нот

Искусственный интеллект создает композицию в виде расстановки звуков, нот и аккордов по порядку. В музыке такой подход называется партитурой. Другими словами, программа генерирует информацию через символы, по которым произведение можно прослушать.

Такой подход OpenAI применила в MuseNet. Программу обучали на произведениях разных жанров: от классики до металла. Поэтому нейросеть сочиняет композиции и сочетать разные стили. Например, может исполнить Лебединое Озеро Чайковского в стиле Киркорова.

Этот подход не идеален. Программа создает только ноты, но не может выразить разную тональность, применить средства выразительности или распознать тонкости звука.

Генерация аудиосигнала

Этот способ работает без ограничений. Программы могут создавать любой звук — вокал, музыкальные эффекты и переходы, а не только партитуру. Такие алгоритмы требуют больших вычислительных мощностей, чтобы обучить нейросеть.

Разработчики не стремились делать ИИ, который напишет композицию с нуля. Дело в том, что музыка состоит из десятка миллионов последовательных значений. Поэтому они использовали алгоритмы машинного обучения, чтобы проанализировать и интерпретировать существующие песни.

С таким подходом нейросети учатся понимать структуру песен и сочинять собственные композиции на основе изученных данных.

Какие алгоритмы использует нейросеть для написания музыки

Искусственный интеллект использует в основе алгоритмов два метода: автокодировщик и генеративно-состязательные нейросети.