Один математический приём помог нейросетям научиться удерживать смысл длинных фраз, а спустя несколько лет лёг в основу ChatGPT, Claude и других современных ИИ-систем. Механизм внимания позволяет модели каждый раз выбирать, какие части текста важнее для следующего шага, но исследователи всё меньше уверены, что найденный принцип объясняет сам интеллект.
История началась с довольно приземлённой проблемы: машинного перевода. Ранние нейросети сначала пытались упаковать целое предложение в числовое представление фиксированного размера, а затем восстановить из него текст на другом языке. Короткие фразы давались им неплохо, но с ростом предложения качество быстро падало: в ограниченное представление приходилось вмещать слишком много информации.
В 2014 году Дмитрий Бахданау, Кёнхён Чо и Йошуа Бенжио предложили механизм, который позволил нейросети во время перевода снова обращаться к разным частям исходной фразы. Вместо попытки запомнить предложение целиком модель на каждом шаге оценивала, какие слова сейчас важнее. Авторы назвали этот приём механизмом внимания.
Идею легко понять на примере двусмысленной фразы. В предложении «Животное не перешло улицу, потому что оно устало» слово «оно» относится к животному. Если заменить «устало» на «оказалась слишком широкой», смысл уже указывает на улицу. При переводе на язык, где выбор местоимения зависит от рода существительного, машине приходится определить, к какому слову относится местоимение. Например, в английском, что улицу, что животное можно обозначит как "it". Внимание даёт нейросети математический способ искать нужную подсказку по всему предложению.
В 2017 году команда Google пошла дальше и построила архитектуру, которая почти целиком опиралась на внимание. Так появился трансформер. Новая схема обрабатывала элементы текста параллельно и обучалась быстрее прежних рекуррентных моделей. Сегодня принцип работы трансформеров лежит в основе большинства крупных языковых моделей.
Внутри трансформера слова сначала превращаются в наборы чисел, или векторы. Затем модель сравнивает их между собой и рассчитывает, насколько сильно один фрагмент текста должен повлиять на другой. Несколько так называемых голов внимания делают это одновременно, поэтому одна может улавливать грамматические отношения, другая учитывать смысл, а третья находить полезные зависимости между удалёнными частями фразы.
Разработчики не прописывают модели правило вроде «животное может устать, улица может быть широкой». Нейросеть выстраивает полезные закономерности во время обучения. После огромного числа попыток предсказать правильное продолжение текста параметры постепенно меняются, и модель всё лучше определяет, какая информация из контекста пригодится прямо сейчас.
Тот же принцип неожиданно оказался полезен далеко за пределами перевода. Чтобы хорошо предсказывать следующий фрагмент текста, большой языковой модели приходится осваивать множество задач, которые встречаются в обучающих данных: переводить, отвечать на вопросы, восстанавливать факты, работать с кодом и выполнять некоторые вычисления. Из простой на первый взгляд задачи выросли системы, способные вести диалог и решать задачи, для которых их отдельно не программировали.
Один из авторов трансформера Ллион Джонс допускает более радикальную трактовку. По его гипотезе об интеллекте, качественное предсказание следующего слова требует настолько широкого набора способностей, что само языковое моделирование может оказаться близким к общей задаче искусственного интеллекта. Если продолжение фразы требует перевести предложение, решить пример или вспомнить факт, модель должна каким-то способом справиться и с этой подзадачей.
Человеческий мозг заставляет относиться к этой идее осторожнее. Нейробиологические данные показывают, что мышление не ограничивается обработкой языка: мозг привлекает системы памяти, восприятия, социального опыта и рассуждений. Животные тоже способны решать сложные задачи без человеческого языка, поэтому умение обращаться со словами вряд ли полностью объясняет интеллект.
Есть и ещё одна проблема: эффективность. Человеку не нужно прочитать значительную часть интернета и потратить гигантские вычислительные ресурсы, чтобы научиться говорить, понимать собеседника и пользоваться знаниями. Джонс теперь полагает, что нынешних трансформеров с механизмом внимания недостаточно, чтобы приблизиться к такой эффективности, и следующий большой скачок может потребовать совсем другой архитектуры.
Внимание поэтому пока лучше считать не готовой формулой разума, а чрезвычайно удачным способом работать с контекстом. Приём, придуманный для улучшения машинного перевода, помог запустить нынешний бум генеративного ИИ. Почему человеческий мозг решает похожие задачи гораздо экономнее и какие принципы делают мышление возможным, исследователи пока не знают.
