Нейросеть Brain2Music превращает ваш мозг в портативную колонку

Ученые из Google и Университета Осаки в Японии смогли воссоздать музыку на основе мозговой активности человека. Модель получила название Brain2Music .

Эксперимент начался с того, что группа испытуемых прослушала образцы музыки различных жанров (рок, классика, металл, хип-хоп, поп, джаз и другие). Во время прослушивания учёные с помощью функциональной магнитно-резонансной томографии (фМРТ) записывали активность мозга слушателей. Полученные данные затем были использованы для обучения нейросети определять активности, связанные с различными характеристиками музыки, такими как жанр, настроение и инструментарий.

Схема исследования

Ключевой этап исследования включал использование модели MusicLM от Google, которая генерирует музыку на основе текстовых описаний. После соединения базы данных MusicLM с данными фМРТ, ученые смогли разработать ИИ-модель, которая воссоздавала прослушанную испытуемыми музыку. Вместо текстовых инструкций для MusicLM активность мозга обеспечивала контекст для музыкального вывода.

Учёные предоставили примеры лучших генераций Brain2Music

Воссозданная музыка семантически похожа на первоначальный музыкальный мотив, поскольку ИИ создает музыку, которая воспроизводит услышанные испытуемыми мотивы по своим семантическим свойствам, таким как жанр, инструментарий и настроение. Например, в «копии» одной песни звучание инструментов и ритм хорошо соответствовали оригиналу, но слова оказались неразборчивы. По словам учёных, модель Brain2Music сосредоточена на воссоздании инструментария и стиля, а не текста.

Эксперты отметили, что исследование впервые предоставляет количественную интерпретацию с биологической точки зрения. Несмотря на прогресс в моделях преобразования текста в музыку, внутренние процессы таких моделей всё ещё плохо изучены. Впрочем, возможность воссоздания идеально оркестрованных мелодий на основе мозговой активности может стать реальностью в недалеком будущем. Учёные говорят, что следующим шагом будет попытка воссоздать музыку или музыкальные атрибуты из воображения человека.