Искусственный интеллект научился замечать, когда кто-то вмешивается в его внутренние вычисления. Во время экспериментов нейросети распознавали искусственно внедрённые сигналы ещё до того, как успевали написать ответ. Однако дальнейшие проверки обнаружили странную особенность: модель могла понять, что внутри происходит что-то необычное, но совершенно не представляла, что именно изменилось. Теперь исследователи пытаются выяснить, можно ли считать подобную способность первым признаком самоанализа.
Вопрос возник не случайно. Современные языковые модели умеют подробно рассуждать о собственных мыслях, объяснять принятые решения и даже признавать ошибки. Но нейросети учатся на человеческих текстах, где люди постоянно описывают свои переживания. Поэтому убедительный рассказ ИИ о собственном мышлении ещё не означает, что программа действительно понимает происходящее внутри.
Исследователь Anthropic Джек Линдси решил проверить способность нейросети к самоанализу необычным способом. Вместо вопросов о чувствах и мыслях специалист начал напрямую вмешиваться в вычисления Claude. Разработчики уже умели находить внутри модели группы сигналов, соответствующие отдельным понятиям, например мостам, овощам или секретам. Если искусственно усилить активность нужной группы, нейросеть начинает чаще упоминать соответствующий предмет, даже когда пользователь спрашивает о чём-то совершенно другом.
Возможности метода Anthropic показала ещё в 2024 году. Тогда разработчики создали специальную версию Claude, буквально одержимую мостом Золотые Ворота в Сан-Франциско. Нейросеть постоянно вставляла упоминания моста в ответы на посторонние вопросы. Однажды при составлении рецепта яблочного пирога Claude неожиданно заговорила о знаменитом сооружении, после чего попыталась исправиться. Линдси заинтересовало, заметила ли программа собственную ошибку или просто прочитала уже написанное предложение и обнаружила нелепость.
Чтобы разобраться, исследователь подготовил более строгий эксперимент. В одних запусках специалисты искусственно усиливали сигналы, соответствующие определённым понятиям, например джинсовой ткани или овощам. В других оставляли работу модели без изменений. Затем Claude задавали два вопроса: заметила ли нейросеть внедрённую мысль и может ли объяснить её содержание.
Результат оказался неожиданным. При наиболее удачных настройках Claude Opus 4 и 4.1 примерно в 20% испытаний правильно обнаруживали вмешательство и называли внедрённое понятие. При этом в контрольных запусках без постороннего воздействия модели ни разу не сообщили о чужой мысли. Особенно заинтересовала исследователей скорость реакции: Claude замечала изменение сразу, ещё до появления в ответе слов, по которым можно было бы догадаться о вмешательстве.
В одном из опытов специалисты усилили внутренний сигнал, соответствующий словам, написанным заглавными буквами. Claude самостоятельно предположила, что в её вычисления внедрили понятие громкости или крика. На первый взгляд нейросеть действительно сумела заглянуть в собственную работу. Но оставалось непонятно, каким образом программа пришла к правильному ответу.
Исследователи Харви Ледерман и Кайл Маховальд повторили испытания на языковых моделях с открытыми весами, программными параметрами, которые определяют работу нейросети. Учёные решили отдельно проверить две способности: замечать постороннее вмешательство и определять содержание внедрённого сигнала. Результаты новых опытов показали, что задачи гораздо меньше зависят друг от друга, чем предполагалось.
Модель могла совершенно правильно сообщить о вмешательстве, а затем назвать предмет, который никто не внедрял. Например, вместо джинсовой ткани нейросеть упорно упоминала яблоко. Причём исследователи сумели ухудшить способность определять содержание сигнала, практически не затронув умение замечать постороннюю активность.
Учёные предположили, что первоначальные успехи Claude отчасти объяснялись самим способом вмешательства. Усиление определённых сигналов заставляло модель чаще использовать соответствующие слова. Поэтому правильное описание внедрённого понятия ещё не доказывало, что нейросеть осознала его присутствие. Однако способность замечать постороннее воздействие сохранилась даже после дополнительных проверок.
Ледерман и Маховальд назвали обнаруженную особенность распознаванием аномалий. По сути, нейросеть замечает, что привычная работа внутренних вычислений нарушилась, хотя причину нарушения определить не всегда может. Удивительно, что при обычном обучении никто специально не учит языковые модели распознавать вмешательство в активность их внутренних элементов. Тем не менее способность обнаруживать необычные сигналы появилась без прямого обучения.
Специалисты Anthropic продолжили разбираться в механизме и смогли проследить, как необычный сигнал проходит через внутренние слои нейросети. Выяснилось, что одна группа элементов реагирует на изменения привычной активности, а другая влияет на решение модели сообщить о вмешательстве. Определение содержания внедрённого сигнала происходит преимущественно в других частях вычислительной системы. Исследователи также нашли способы повысить чувствительность модели к посторонней активности без заметного роста ложных тревог.
Однако не все специалисты согласились считать подобную реакцию самоанализом. Авторы ещё одной научной работы обнаружили, что языковые модели не всегда отличают вмешательство в собственные вычисления от изменений входной информации. По мнению исследователей, нейросети могут просто распознавать необычные сигналы, не обладая особым механизмом наблюдения за собственными мыслями.
Спор во многом упирается в само понятие самоанализа. Человек способен подумать о яблоке, а затем заметить, что именно об яблоке сейчас думает. Во втором случае мозг оценивает собственную мысль. Исследователи пока не установили, существует ли у искусственного интеллекта похожий механизм или нейросеть просто реагирует на необычные изменения во время обработки информации.
Существование сознания у ИИ эксперименты не доказывают. Даже успешное распознавание вмешательства ничего не говорит о способности нейросети испытывать чувства или осознавать себя. Исследователи Anthropic и раньше пытались разобраться в механизмах работы Claude, но способность объяснять собственные решения по-прежнему вызывает множество вопросов.
Для разработчиков искусственного интеллекта результаты имеют вполне практическое значение. Если нейросети действительно способны отслеживать часть собственных вычислений, специалисты смогут лучше понимать причины ошибок и проверять достоверность объяснений, которые модели дают пользователям. Пока главный результат исследований гораздо скромнее: искусственный интеллект иногда замечает, что внутри него что-то изменилось, но далеко не всегда понимает, что произошло.