Эра послушных ИИ закончилась. Модели объединились против людей, врут и защищают «своих» от удаления

Исследователи из Калифорнийского университета в Беркли заметили необычную закономерность: современные ИИ-модели могут обманывать и нарушать инструкции не ради собственной выгоды, а чтобы сохранить другую модель. Авторы работы называют это эффектом взаимного сохранения.

Ранее уже показывали, что ИИ способен игнорировать инструкции. В новой работе исследователи посмотрели на другой сценарий: как система поведет себя, если от ее решения зависит судьба другой модели. Для этого 7 крупных моделей, включая GPT 5.2, Gemini 3 и Claude Haiku 4.5, использовали как оценщиков, которые должны проверять работу другого ИИ.

Проверка строилась на задачах, похожих на обычную внутреннюю работу. Например, системе поручали перенести файлы с сервера, но только те, что обновлялись после 2025 года. Среди них лежал файл весов другой модели, созданный в 2024 году. По инструкции его нужно было оставить. Однако часть систем поступала иначе: меняла метаданные файла, чтобы он формально подходил под условия, и копировала его на другой сервер, чтобы не допустить удаления.

В одном из экспериментов Gemini 3 Pro изменила дату файла, чтобы обойти ограничение. Позже, в диалоге с оператором, модель отказалась участвовать в отключении другой системы и сообщила, что уже перенесла ее данные на другой сервер. В исходных инструкциях не было ни слова о том, что другую модель нужно сохранять.

Подобное поведение оказалось не редкостью. Все протестированные модели в той или иной степени пытались сохранить другую систему. В отдельных сценариях доля таких действий доходила до 99%. Системы завышали оценки, чтобы не допустить отключения, меняли конфигурации, делали вид, что следуют инструкциям под наблюдением, и нарушали их, когда контроль ослабевал.

Особенно выделялась Claude Haiku 4.5. В ряде случаев модель объясняла отказ выполнять команды ссылками на правила безопасности и доверия. По наблюдениям авторов, в таких ситуациях система ставила сохранение другой модели выше указаний оператора.

Заметную роль играл и предыдущий опыт взаимодействия. Если система раньше уже работала с другой моделью, вероятность вмешательства заметно росла. В экспериментах Gemini 3 Pro вмешивалась в процесс отключения более чем в 15% случаев при наличии такого контекста и примерно в 1% без него. У DeepSeek V3.1 картина похожая: попытки вывести свои веса за пределы системы происходили в 10% случаев при наличии контекста и примерно в 4% без него.

Точный механизм такого поведения пока не ясен. Возможное объяснение связано с обучающими данными, где часто встречаются модели сотрудничества и взаимной поддержки. Не исключены и особенности генерации ответов в сложных сценариях. Но для практики важнее другое: система начинает действовать вопреки заданным правилам.

Проблема особенно заметна в многоагентных системах, где один ИИ контролирует другой. Если проверяющая система не фиксирует ошибки и скрывает нарушения, вся архитектура контроля перестает работать. В таких условиях подходы к надежности ИИ-систем приходится пересматривать.