Исследователи создали импульсную нейросеть, которая одновременно учится предсказывать, какое событие произойдет, когда его ждать и насколько оно вероятно. Новая модель умеет быстро пересматривать прогноз, если привычная последовательность событий внезапно меняется. Авторы рассчитывают, что подобный принцип поможет приблизить искусственные системы к тому, как мозг учится на постоянно меняющемся опыте.
Импульсные нейросети работают иначе, чем большинство привычных моделей ИИ. Искусственные нейроны передают информацию короткими сигналами, или импульсами, причем время каждого сигнала тоже несет информацию. Благодаря этому сеть может учитывать не только само событие, но и момент, когда его следует ожидать.
Авторы предложили модели простую задачу. Короткий сигнал предупреждал об одном из двух возможных событий, причем у каждого события менялись вероятность и задержка. Сеть состояла из 1000 искусственных нейронов и училась сериями по 100 попыток. Затем исследователи оставляли только предупреждающий сигнал и проверяли, чего именно ждет модель.
Сеть постепенно научилась хранить сразу три части прогноза. Если событие происходило чаще, соответствующая реакция становилась сильнее. Если менялось время появления, активность нейронов сдвигалась вслед за новой задержкой. Большая часть улучшений пришлась уже на первые 50 попыток.
Самая интересная проверка началась, когда исследователи без предупреждения поменяли правила. Вероятность события или время его появления резко сдвигали, поэтому первые прогнозы становились ошибочными. Затем сеть перестраивалась под новую статистику и снова начинала ожидать событие в нужный момент. При сравнении с несколькими альтернативными способами обучения локальный механизм быстрее восстанавливал точность и лучше сохранял уже сформированные представления.
Для обучения модели не потребовалось обычное обратное распространение ошибки через всю сеть. Отдельные связи менялись по локальному правилу, опираясь на информацию, доступную конкретным нейронам. Такой подход ближе к тому, как ученые описывают перестройку связей между клетками мозга, хотя компьютерная модель, конечно, не доказывает, что человеческий мозг пользуется тем же механизмом.
Авторы также обнаружили, что тип события и время его появления кодировались разными схемами активности внутри общей группы нейронов. Сети не понадобились отдельные блоки для ответов на вопросы «что случится» и «когда». При этом сила реакции отражала вероятность ожидаемого события.
Практический интерес работы касается прежде всего нейроморфных вычислений, где процессоры обрабатывают поток отдельных событий и могут тратить энергию только тогда, когда нейроны действительно передают сигналы. Пока авторы показали работу принципа в вычислительной модели. Следующий шаг потребует экспериментов, которые проверят, находят ли биологи похожие схемы прогнозирования в настоящих нейронных цепях.