Учёные научили нейросети распознавать звуки речи и тысячи слов, используя записи первых тысячи дней жизни восьми детей. Искусственный интеллект получал примерно тот же языковой опыт, что и малыши, но поначалу практически ничего не запоминал. Перелом наступил, когда модели разрешили возвращаться к услышанному, словно человеческий мозг, который закрепляет воспоминания во время сна.
Обычно разработчики обучают языковые модели на огромных массивах текстов. Маленький ребёнок оказывается в совершенно других условиях: слышит разговоры родителей, случайные фразы, сказки на ночь и постепенно начинает различать в непрерывном потоке звуков отдельные слова. Учёные решили проверить, сможет ли искусственный интеллект пройти похожий путь, если ограничить его реальным речевым опытом ребёнка.
Для эксперимента исследователи использовали необычный архив, который собирали в 15 американских семьях. Камеры и микрофоны записывали домашнюю жизнь с рождения детей примерно до трёхлетнего возраста, охватывая большую часть времени, когда малыши бодрствовали. В записи попадали разговоры, игры, чтение книг и другие повседневные занятия. Из огромного массива материалов отобрали речевые записи восьми детей, причём для некоторых удалось собрать до 6600 часов звука.
Каждому ребёнку создали отдельную нейросеть. Модели не знали английского языка, не имели готового словаря и даже не понимали, где заканчивается одно слово и начинается другое. Записи подавали постепенно, в той же последовательности, в какой дети слышали окружающую речь. При этом учёные заранее убрали шумы и наложения голосов: исходные разговоры расшифровали, а затем с помощью синтезатора превратили в чистую речь.
Сначала систему обучали на записях девочки под псевдонимом Корал. Нейросеть анализировала короткие звуковые фрагменты и пыталась предугадать, что прозвучит дальше. Разработчики рассчитывали, что постоянное повторение похожих сочетаний поможет искусственному интеллекту самостоятельно обнаружить структуру языка. Однако первые результаты оказались провальными. К моменту, соответствующему второму дню рождения девочки, модель так и не освоила ни одного слова.
Тогда исследователи обратили внимание на человеческий сон. Пока человек спит, мозг может повторно активировать нейронные связи, участвовавшие в недавних событиях. Учёные предполагают, что мозг таким способом помогает закреплять новые воспоминания. Разработчики решили воспроизвести отдельную часть механизма: в конце каждого виртуального дня нейросеть повторно прослушивала небольшую подборку уже знакомых фрагментов, преимущественно из последних нескольких дней.
После изменения подхода обучение резко ускорилось. Система начала различать фонемы, то есть звуки, по которым мы отличаем одни слова от других, а затем научилась узнавать повторяющиеся сочетания. Примерно за 15 месяцев виртуального развития модели освоили около 37 фонем английского языка. Со временем их словарь вырос до тысяч словоформ, причём нейросети не потребовались ни письменные тексты, ни готовые объяснения языковых правил.
Исследователи повторили опыт с записями остальных детей и получили похожие результаты. Однако обнаружилось любопытное различие: настоящие малыши осваивали речь с разной скоростью, а нейросети при одинаковых настройках учились почти синхронно. Чтобы приблизить развитие каждой модели к результатам конкретного ребёнка, разработчикам пришлось менять всего три параметра: скорость обучения, объём повторяемой информации и момент, когда система начинала активно запоминать слова.
При всей схожести результатов нейросеть пока не умеет понимать речь на уровне ребёнка. Искусственный интеллект научился узнавать знакомые звуковые последовательности, но не знает, что обозначают слова. Малыши получают гораздо больше подсказок: видят лица родителей, следят за жестами, рассматривают предметы и наблюдают за действиями окружающих. Модель работала только со звуком и не могла сопоставить услышанное с реальным миром.
Авторы считают, что эксперимент поможет разобраться, какую роль память играет в раннем освоении языка. Результаты показывают, насколько сильно повторное обращение к недавнему опыту влияет на обучение, хотя пока не доказывают, что детский мозг действует точно так же. В дальнейшем учёные хотят добавить к звуковым записям изображения и возможность взаимодействовать с окружающей средой. Тогда появится шанс выяснить, как ребёнок переходит от узнавания отдельных слов к пониманию их смысла.