Исследователи научились генерировать изображения на основе мозговой активности человека

Японские учёные из Высшей школы передовых биологических наук Университета Осаки смогли реконструировать высокоточные изображения активности человеческого мозга благодаря популярной платформе искусственного интеллекта (ИИ) для генерации изображений — Stable Diffusion.

Если отбросить всю научную терминологию, кратко описать столь сложный процесс можно следующим образом: учёные показывали испытуемым конкретное изображение, а затем просили их представить это изображение и «держать у себя в голове» во время выполнения функциональной магнитно-резонансной томографии (фМРТ). Затем учёные, на основе собранных данных, несколько раз обрабатывали полученные фМРТ-сигналы с помощью сложных алгоритмов, и по итогу, использовали их в качестве входных данных Stable Diffusion для генерации финальной картинки.

Нейросеть смогла сгенерировать очень близкие к оригинальным изображения. Это большое достижение, с учётом всевозможных потерь данных в процессе считывания мозговой активности.

Сверху — оригинальные изображения, снизу — полученные из фМРТ-сигналов при помощи нейросети

Исследователи сообщили, что им удалось получить реконструкции изображений с высоким разрешением, но только после длительного обучения и тонкой настройки генеративной модели. Это приводит к определённым ограничениям, поскольку процесс обучения генеративных моделей крайне непрост, а в нейробиологии не так много примеров проведения подобных экспериментов.

С развитием генеративного ИИ всё больше и больше исследователей изучают, как нейросетевые модели могут работать с человеческим мозгом. Последние исследования показывают, что искусственный интеллект способен выполнять поистине впечатляющую работу в реконструкции мозговых сигналов. Во многом это обуславливается тем, что нейросетевые модели сами находят алгоритмы, позволяющие прийти к нужному результату. И далеко не всегда эти алгоритмы понятны для человеческого восприятия.

Кто знает, может в ближайшем будущем учёные смогут с помощью нейросетей считывать человеческие сны и декодировать их в видеоролики? В удивительное время мы живём, вне всяких сомнений.