Ученые надеются использовать суперкомпьютеры для исследования сложных структур, лежащих в основе творчества в языке и музыке. Они утверждают, что мозг часто подходит к творчеству, сначала полагаясь на простые вещи, а затем уже исследует более сложные и более творческие концепции.

Даже великие джазмены чувствуют, что за музыкальной импровизацией скрывается секрет. Джазовый трубач Уинтон Марсалис говорил, что «В джазе импровизация — это не просто придумывание чего-то старого. Джаз, как и любой язык, имеет свою грамматику и словарный запас».

Теперь команда исследователей под руководством Пенсильванского университета использует суперкомпьютер Roar Института вычислительной техники и наук о данных (ICDS), чтобы попытаться расшифровать грамматику и словарный запас, который использует мозг, когда музыканты на лету «раскручивают» новые музыкальные идеи.

По словам Ханны Мерсил, аспиранта в области когнитивных наук и члена Лаборатории когнитивной нейробиологии творчества, разгадка может заключаться в объяснении того, насколько мозг легко включается в поток творческой деятельности. Мерсил, когда-то руководившая джаз-фанк-группой, впервые заинтересовалась связью между мозгом и творческими способностями после собственного опыта на сцене в качестве кларнетистки.

По словам Мерсил, во время импровизации, мозг музыкантов занят управлением комбинацией умственных действий — от активации памяти до участия в управлении моторикой и вниманием. И все это под бдительным взглядом и критическими ушами аудитории.

Чтобы справиться с когнитивной нагрузкой, исследователи предполагают, что джазовые музыканты могут начать импровизацию, прибегая сначала к простым, надежным музыкальным фразам. Позже, в соло, они превращаются в более сложные пассажи. По словам ученых, это служит хорошей «дорожной картой» того, как мозг подходит к другим творческим начинаниям — например таким, как речь и письмо.

«Мы в основном думали об импровизации как о чем-то, что называется иерархическим поведением. Это то, что происходит в режиме реального времени и организовано таким образом, что меньшие фрагменты подпадают под более крупные, что также похоже на то, как работает язык», — объяснила ученый.

Музыканты также могут полагаться на «фрагменты» музыки, что может быть еще одним способом, с помощью которого мозг справляется со значительной когнитивной нагрузкой во время импровизационного соло.

«Когда музыкант думает об импровизации, он в первую очередь, вспоминает и исполняет небольшие фрагменты музыки. Он разбивает информацию таким образом, чтобы ее было легко хранить и переупорядочивать», — добавила Мерсил.

По словам Роджера Бити, доцента психологии и главного исследователя Cognitive, исследования творческих начинаний, а не только музыки, позволили взглянуть на роль памяти в творчестве и, в частности, на то, как мозг использует сети ассоциаций для подпитки творчества.

«Наши воспоминания могут организовывать категории вещей, объединяя их вместе, и мы можем смоделировать это как определенную структуру. Ранее проводились исследования по моделированию сетей и семантической памяти. Совсем недавно мы, и некоторые из наших коллег, решили проверить это, используя вычислительные подходы науки о сетях».

Анализ великих джазовых исполнителей

Чтобы изучить эти музыкальные структуры, исследователи проанализировали базу данных соло из Weimar Jazz Database , в которой представлены некоторые отрывки из импровизаций величайших джазменов мира, таких как саксофонисты Чарли «Берд» Паркер и Джон Колтрейн, а также легендарный трубач Майлз Дэвис. В ходе первоначального анализа исследователи определили сложность последовательностей в течение каждой музыкальной фразы и обнаружили, что уровень сложности увеличивается в течение большинства фраз, подобно структурам easy-first, встречающимся в языке.

Затем команда разбила эти соло на пять последовательностей нот, чтобы создать большую структуру со всеми нотами, использованными артистами в базе данных. В ходе эксперимента исследователи попросили участников оценить родство музыкальных идей и обнаружили, что эти оценки соответствуют расположению последовательностей в структуре. Эти результаты дают первое представление о том, как импровизированные мелодии могут храниться в памяти.

Для анализа этого большого объема данных на стандартном компьютере потребовались бы недели: исследовательская группа смоделировала огромную сеть, содержащую тысячи узлов, требующую обширной компьютерной памяти и вычислительной мощности. Поэтому команда решила провести исследования на суперкомпьютере Penn State Roar.

По словам Бити, сетевая наука и суперкомпьютеры дают ученым возможность исследовать другие области творчества. Например, лаборатория применяет аналогичный подход к поиску структур творчества среди писателей с помощью концепции под названием «семантическая дистанция», которая очень похожа на игру словесных ассоциаций.

«Один из распространенных способов измерения креативности, который мы используем, — это проведение конкурсов словесных ассоциаций, и тех, кто может придумать более отдаленные ассоциации, мы можем считать более творческими», — рассказал Бити.

Команда создала веб-сайт SemDis на основе этой работы, выполненной на ROAR, что позволяет другим ученым и преподавателям самостоятельно исследовать творческие способности.

По словам Мерсил, работа над музыкальной импровизацией находится на стадии проверки концепции. В 2022 году она планирует изучить реальный мозг музыкантов непосредственно во время импровизации.

Команда будет использовать технологии нейровизуализации или сканирования мозга, такие как магнитно-резонансная томография (МРТ), чтобы наблюдать, как мозг музыкантов реагирует во время игры. По словам Мерсил, технология может дать представление о роли, которую разные стили и уровни музыкального мастерства играют в импровизации.

«Я очень рада провести целевую выборку начинающих и опытных импровизаторов, а также классических музыкантов, чтобы мы действительно могли вникнуть в это и увидеть, чем отличаются эти сети и какие стратегии они используют», — отметила Мерсил.

Узнать больше о суперкомпьютере Roar и исследованиях, которые он поддерживает , можно здесь.