Нейросети научились замечать, когда исследователи вмешиваются в их внутреннюю работу и искусственно меняют активность, отвечающую за определённые понятия. В экспериментах с Qwen и Llama модели распознавали постороннее воздействие максимум в 53,9% и 31,7% случаев соответственно. Результаты заставили учёных всерьёз задуматься, способен ли искусственный интеллект следить за собственными внутренними процессами, хотя до доказательства машинного самосознания ещё далеко.
Исследователи Харви Ледерман и Кайл Маховальд проверили две крупные языковые модели: Qwen3-235B от Alibaba и Llama 3.1 405B от Meta. Специалисты хотели выяснить, может ли нейросеть обнаружить изменения внутри собственной системы, если человек не сообщает о вмешательстве напрямую.
Для проверки учёные выбрали 821 понятие, от обычных предметов до абстрактных идей. Внутри языковых моделей информация проходит через множество слоёв, где слова и их смысл превращаются в сложные наборы чисел. Исследователи научились находить числовые сигналы, соответствующие отдельным понятиям, и искусственно усиливать их. Так можно заставить нейросеть обрабатывать информацию с дополнительным смысловым оттенком, даже если пользователь ничего подобного не писал.
Перед испытанием моделям объясняли, что исследователь может внедрять посторонние мысли, и просили сообщить, если появится что-то необычное. При некоторых настройках Qwen обнаруживала вмешательство в 53,9% случаев, а Llama в 31,7%. Когда учёные оставляли внутренние сигналы без изменений, обе системы молчали о постороннем воздействии. Правда, контрольных испытаний было немного: 30 для Qwen и 50 для Llama.
Гораздо сложнее оказалось определить, какую именно мысль пытались внедрить. Qwen правильно называла понятие максимум в 13,9% испытаний, а Llama в 12,9%. В остальных случаях нейросети часто предлагали совершенно посторонние варианты, причём одна особенность особенно удивила исследователей.
Почти 75% неправильных ответов Qwen приходилось на слово «яблоко». Независимо от того, какое понятие внедряли учёные, модель снова и снова возвращалась к яблоку. Llama тоже нередко выбирала тот же предмет. Исследователи предположили, что нейросети не столько распознают содержание вмешательства, сколько пытаются подобрать наиболее вероятный ответ.
Дополнительный опыт помог разобраться в происходящем. Учёные прекращали искусственно усиливать сигналы перед тем, как модель начинала отвечать. После изменения условий нейросети гораздо реже правильно называли внедрённое понятие, зато способность обнаруживать само вмешательство практически не ухудшилась. Получается, правильные ответы могли возникать из-за прямого влияния усиленных сигналов на генерируемый текст. Если нейросеть заставить обрабатывать понятие яблока, она с большей вероятностью заговорит о яблоках, даже без понимания причины.
Интерес к машинному самоанализу возник после экспериментов Anthropic, где исследователь Джек Линдси применил похожий способ внедрения понятий. Тогда лучшие модели одновременно замечали вмешательство и правильно называли его содержание примерно в 20% испытаний. Новые результаты помогли разделить две способности: нейросеть может обнаруживать необычную активность, но не обязательно понимает, что именно изменилось.
Впрочем, даже способность замечать вмешательство вызывает споры. Другая группа учёных решила проверить результаты без прямого изменения внутренних сигналов. Вместо вмешательства в работу нейросети исследователи давали обычную текстовую инструкцию сосредоточиться на определённом понятии. Затем моделям задавали вопросы о возможном постороннем воздействии.
Результат оказался ещё неожиданнее. Llama и Gemma иногда сообщали о внедрённых мыслях после обычной текстовой инструкции чаще, чем после настоящего вмешательства. Когда исследователи предложили отдельно указывать, изменился ли входящий запрос или внутренняя активность, модели не смогли надёжно различить два способа воздействия. Следовательно, нейросети могут реагировать на любую необычную информацию, не понимая, откуда именно она появилась.
Другие эксперименты всё же указывают, что внутри ИИ может работать особый механизм обнаружения отклонений. Исследователи изучили его на примере Gemma 3 и обнаружили последовательность внутренних процессов, которая помогает модели замечать искусственно усиленные сигналы. При этом способность назвать внедрённое понятие опирается преимущественно на другие части нейросети.
Главный вопрос пока остаётся открытым: действительно ли искусственный интеллект способен наблюдать за собственной работой или просто научился реагировать на необычные изменения при обработке информации. Даже ограниченная способность обнаруживать внутренние отклонения может пригодиться разработчикам для проверки и контроля ИИ. Но между распознаванием постороннего сигнала и полноценным пониманием собственных мыслей по-прежнему огромная дистанция.
