Ваша память заполнена. Эксперимент показал, мозг удаляет «старые файлы», когда вы учитесь новому

Новое исследование психологов и специалистов по ИИ из Оксфорда показало, что люди и искусственные нейросети во многом учатся удивительно похожим образом: прежние знания могут как помогать осваивать новые задачи, так и мешать этому. Более того, ученые выделили два заметно разных типа людей-учеников, условно названных «объединители» и «разделители».

В классической психологии давно известен эффект интерференции: когда мы учим что-то новое, нам становится сложнее вспоминать уже усвоенную ранее информацию. Похожий феномен наблюдается и у искусственных нейронных сетей (ANNs): там он известен как «катастрофическое забывание», когда модель, обученная на новой задаче, начинает хуже справляться со старой и как будто «разучивается» своим прежним навыкам.

Есть и обратная ситуация — перенос знаний (transfer), когда уже освоенные правила или навыки помогают быстрее решить новую задачу. Люди, к примеру, легче осваивают новый язык, если он похож на уже известный. С нейросетями происходит то же самое: уже сформированные внутренние представления могут ускорять обучение, если новая задача чем-то напоминает предыдущую.

Команда из Оксфордского университета сравнила, как люди и нейросети учатся решать задания, основанные на четких логических правилах. Речь идет о простых инструкциях вроде «нажимай одну клавишу, если фигура синяя, и другую, если красная» или «сортируй объекты по форме». Задачи были выстроены в последовательность A–B–A: сначала участники осваивали одно правило (A), затем переключались на другое (B), а потом возвращались к исходному (A).

Оказалось, что и люди, и нейросети лучше справляются со второй задачей, когда она похожа на первую: они активно используют уже выученные закономерности. Но за эту «ускоренную» учебу приходится платить: при возврате к первоначальной задаче A у многих возникает заметная интерференция — старые правила вспоминаются хуже, потому что новые частично их «перезаписали». В нейросетях это напрямую связано с переиспользованием уже сформированных представлений: они помогают быстро освоить похожую задачу B, но при этом частично стирают следы задачи A.

Самое любопытное, что у людей при этом проявились два отчетливых стиля обучения. Одни участники показывали сильный перенос и одновременно сильную интерференцию: им легко давались похожие задачи, но при возвращении к первым правилам они чаще путались. Другие, наоборот, демонстрировали слабый перенос и слабую интерференцию: им сложнее было использовать прежний опыт в новой задаче, зато старые знания сохранялись лучше.

Исследователи условно назвали эти группы «объединители» (lumpers) и «разделители» (splitters). «Объединители» склонны строить более общие, перекрывающиеся представления — и у них лучше работает перенос, но сильнее страдает устойчивость старых знаний. «Разделители» предпочитают держать разные задачи «в отдельных папках»: это снижает риск путаницы и забывания, но и мешает получать бонус от схожести задач.

Похожий эффект ученые воспроизвели и в нейросетях, обучая их в разных режимах. В так называемом «богатом» (rich) режиме сети формировали более общие и пересекающиеся внутренние представления — так же, как «объединители» среди людей. В «ленивом» (lazy) режиме, напротив, нейросети создавали более раздельные структуры, аналогичные стратегии «разделителей». То есть различия между стилями обучения людей нашли прямой отклик в том, как можно настроить обучение ИИ.

В целом работа показывает: когда мы учим что-то последовательно, и люди, и алгоритмы натыкаются на одни и те же фундаментальные ограничения. Прежние знания могут ускорять обучение новым задачам, но одновременно повышают риск забывания старых — вопрос лишь в том, как именно организовано это знание внутри системы. Понимание этих общих принципов, считают авторы, поможет и в развитии искусственных нейросетей, и в лучшем понимании того, почему одни люди легче переносят знания между задачами, а другие лучше сохраняют то, что уже выучили.