Исследователи создали многослойную ассоциативную память на мемристорах, которая хранит больше образов по мере роста сети быстрее, чем классическая модель Хопфилда. Экспериментальный чип восстанавливал повреждённые данные с задержкой до 99,7% ниже и энергоэффективностью до 8,8 раза выше по сравнению с последовательным обновлением нейронов, то есть в отдельных режимах выдавал результат примерно в 300 раз быстрее при меньшем расходе энергии.
Ассоциативная память отличается от обычной компьютерной памяти способом поиска информации. Вместо точного адреса ей достаточно части содержимого: например, система может получить повреждённое изображение и восстановить исходный вариант. По похожему принципу человек узнаёт знакомую мелодию по нескольким нотам или лицо по отдельным чертам.
Одной из классических реализаций такого подхода стали сети Хопфилда. Сохранённые образы в них соответствуют устойчивым состояниям сети, а неполный или искажённый сигнал постепенно приводит систему к ближайшему сохранённому варианту. У классической схемы есть серьёзное ограничение: при хеббовском обучении надёжно помещается примерно 0,14 образа на один нейрон. После превышения порога воспоминания начинают мешать друг другу, а сеть всё чаще приходит к неправильным состояниям.
Авторы новой разработки совместили мемристорные матрицы с алгоритмом обучения, который заранее учитывает физические особенности конкретного чипа. Перед обучением система измеряет состояние элементов памяти, отмечает неисправные мемристоры и подстраивает остальные веса так, чтобы компенсировать дефекты. Такой подход отличается от прежних методов, где рассчитанные в программе параметры просто переносили на реальное оборудование и неизбежные отклонения ухудшали результат.
В испытаниях использовались интегрированные матрицы 64 × 64. Мемристоры одновременно хранят значения и участвуют в вычислениях, поэтому данные не приходится постоянно переносить между отдельными блоками памяти и процессором. Матрица выполняет сразу множество операций над сигналами, используя электрические токи и проводимость самих элементов.
Для проверки исследователи сохраняли изображения рукописных цифр, а затем намеренно меняли часть пикселей и просили систему восстановить оригинал. Большинство ошибок исчезало уже за два-три шага, а после пяти итераций восстановленные изображения практически совпадали с сохранёнными образцами. Ёмкость определяли достаточно строго: воспоминание считалось успешно восстановленным только при сходстве не ниже 0,99 после внесения ошибок во входные данные.
Аппаратно-адаптивное обучение примерно вдвое увеличило ёмкость по сравнению с одним из наиболее эффективных прежних методов. При особенно тяжёлом сценарии, когда половина мемристоров считалась неисправной, преимущество доходило до трёх раз. Система сохраняла работоспособность при доле дефектных элементов до 50%, тогда как сравнительный метод начинал заметно разрушаться примерно после 35%.
Главное изменение появилось после перехода от одного слоя к многослойной структуре. В классической сети число доступных состояний тесно связано с числом входных нейронов, поэтому увеличение памяти обычно требует пропорционального роста оборудования. В новой архитектуре скрытый слой позволяет перераспределять информацию между связями значительно эффективнее.
На структурированных наборах данных ёмкость для двоичных образов росла приблизительно как N1,49, где N обозначает число входных нейронов. Для данных с непрерывными значениями показатель достиг N1,74. Классическая однослойная система в тех же экспериментах демонстрировала почти линейную зависимость около N1,06. Авторы называют такой режим сверхлинейным ростом ёмкости.
Многослойная схема также потребовала до 95% меньше мемристоров для хранения заданного числа образов в одном из испытанных наборов. Причина не в появлении дополнительной физической памяти, а в более эффективном распределении информации между слоями и обучении весов с учётом возможностей конкретных элементов.
Ускорение восстановления данных исследователи получили благодаря одновременному обновлению всех нейронов. Традиционные сети Хопфилда часто меняют состояния последовательно, шаг за шагом, тогда как мемристорная матрица способна обработать множество связей параллельно. Для 64-мерных образов такой режим в отдельных сравнениях снизил задержку на 99,7% и увеличил энергоэффективность до 8,8 раза.
Новая система при этом не отменяет математические ограничения всех разновидностей сетей Хопфилда. Сверхлинейный рост исследователи получили экспериментально на определённых структурированных данных и конкретной многослойной архитектуре, поэтому перенос результата на произвольные задачи потребует дополнительных проверок. Чип также остаётся смешанной аналогово-цифровой системой: преобразование сигналов между двумя представлениями пока создаёт заметные потери времени и энергии.
Если такие ограничения удастся сократить, мемристорная ассоциативная память может пригодиться устройствам, которым нужно быстро восстанавливать и распознавать данные без постоянного обращения к крупным вычислительным центрам. Среди возможных направлений авторы называют датчики, носимую электронику и другие маломощные системы, где одновременно важны скорость, устойчивость к аппаратным дефектам и низкое энергопотребление.
