Исследователи из Израиля создали систему искусственного интеллекта, которая восстанавливает увиденное человеком изображение по данным сканирования мозга. Brain-IT передает расположение предметов, их форму и цвет точнее прежних методов, а для подстройки под нового человека модели хватает примерно часа записей.
Система получает данные функциональной МРТ. Сканер не фотографирует мысли и не записывает работу отдельных нейронов. Он отслеживает изменения кровотока и насыщения крови кислородом в разных участках мозга, а алгоритм ищет в этих изменениях признаки изображения, которое человек видел в момент сканирования.
Главная проблема прежних подходов крылась в генерации самой картинки. Нейросеть могла правильно определить, что перед человеком, например, собака или автомобиль, но затем дорисовывала сцену по собственным предположениям: меняла положение объекта, цвет, форму или фон. В итоге картинка оставалась правдоподобной, но хуже передавала реальное изображение.
Brain-IT разбивает задачу на две части. Одна ветвь восстанавливает общую композицию, формы и расположение объектов, другая определяет смысл изображения. Затем генеративная модель объединяет обе подсказки и собирает итоговую картинку. Такой подход помогает удержать не только содержание сцены, но и ее устройство.
Для обучения разработчики взяли открытый набор записей мозга восьми добровольцев, которые смотрели тысячи фотографий внутри мощного МРТ-сканера. При проверке на четырех участниках Brain-IT обошла предыдущие методы почти по всем использованным показателям качества и особенно хорошо передавала пространственное расположение объектов.
Еще одно преимущество касается настройки под нового человека. Мозг каждого участника немного отличается анатомически, поэтому алгоритму нужно понять, какие участки выполняют сходные функции. Brain-IT группирует области мозга по характеру их работы и переносит уже изученные закономерности между людьми. Благодаря этому примерно час записей нового участника дает качество, сопоставимое с прежними системами, которым требовалось около 40 часов. Час нужен именно для подстройки уже обученной модели, а не для обучения Brain-IT с нуля.
До настоящего чтения мыслей технологии пока далеко. Brain-IT восстанавливает изображения, которые человек действительно видел во время сканирования, и по-прежнему может ошибаться. Кроме того, функциональная МРТ требует большого томографа и неподвижного участника внутри аппарата, поэтому незаметно получить такие данные сейчас невозможно.
Разработчики хотят научить систему работать не только с неподвижными изображениями, но и с видео, звуком, воображаемыми сценами и сновидениями. Пока Brain-IT этого не умеет. Исследователи также изучают более простые способы считывания активности мозга, включая ЭЭГ, где электрические сигналы регистрируют электродами на коже головы. Если точность таких методов вырастет, вопрос защиты нейронных данных станет гораздо практичнее, чем сегодня.