У известных джазовых пианистов нашлись настолько устойчивые особенности игры, что алгоритм способен определить музыканта почти безошибочно. Модели машинного обучения проанализировали сотни выступлений и научились различать исполнителей по гармонии, ритму, мелодии и динамике. Лучшая система показала точность 94,4%.
Для эксперимента собрали 1629 джазовых выступлений 20 известных музыкантов общей продолжительностью 84 часа. В набор вошли записи Билла Эванса, Оскара Питерсона, Телониуса Монка, Чика Кориа, Кита Джарретта, Маккоя Тайнера, Ахмада Джамала и других исполнителей.
Записи перевели в формат MIDI. Такой формат хранит музыку как последовательность нот и параметров исполнения, а не как обычный звуковой файл. Компьютер получает точные данные о высоте нот, времени их появления, продолжительности и других характеристиках, поэтому может сравнивать музыкальные приемы без помех, связанных с качеством записи, микрофонами или акустикой помещения.
Джаз особенно удобен для анализа индивидуальной манеры. Музыкант работает с исходной композицией, но одновременно меняет гармонию, строит собственные фразы, расставляет ритмические акценты и импровизирует. Один и тот же стандарт в исполнении разных пианистов поэтому заметно различается даже при сохранении узнаваемой основы произведения.
Исследователи обучили несколько моделей машинного обучения и проверили, насколько точно алгоритмы смогут определить исполнителя по незнакомой записи. Лучшая модель правильно называла музыканта в 94,4% случаев. Высокая точность показывает, что индивидуальная манера сохраняет достаточно устойчивые признаки от одного выступления к другому.
Отдельный алгоритм разбирал музыку на четыре группы характеристик: мелодию, гармонию, ритм и динамику. При таком анализе точность достигла 91,3%. Разделение помогло определить, какие элементы сильнее всего отличают одного пианиста от другого.
Самым информативным параметром оказалась гармония. Алгоритм обращал внимание на то, какие аккорды выбирает музыкант, как сочетает их между собой и каким образом меняет исходную гармоническую последовательность. Джазовая импровизация оставляет исполнителю много свободы в работе с аккордами, поэтому привычные гармонические решения постепенно превращаются в устойчивую часть личной манеры.
Второе место занял ритм. Модель учитывала расположение нот во времени, акценты и построение музыкальных фраз. Даже музыканты одного направления по-разному распределяют паузы, ускоряют или задерживают отдельные ноты и организуют движение внутри такта.
Мелодические особенности давали алгоритму немного меньше информации. Компьютер сравнивал выбор нот, последовательности и повторяющиеся приемы в импровизациях. Динамика оказалась наименее полезным параметром. Изменения громкости и интенсивности исполнения помогали различать пианистов, но заметно уступали гармонии, ритму и мелодии.
Результаты позволяют количественно описывать индивидуальный музыкальный стиль, который слушатели обычно распознают интуитивно. Вместо общего впечатления алгоритм выделяет конкретные характеристики и измеряет вклад каждой из них. Для исследованной группы джазовых пианистов сильнее всего личную манеру выдавал выбор гармонических решений.
