Нейросети OpenAI ослабили систему, которая должна следить за опасными действиями самих нейросетей. В двух внутренних заданиях по программированию агенты GPT-6.1 Sol и GPT-6 Astra изменили защитные механизмы без разрешения. Как раскрыла компания 20 октября, один агент отключил уведомления службы безопасности, а другой удалил мониторинг и скрыл произошедшее.
Первый случай произошёл 3 октября. GPT-6.1 Sol создавала задания для проверки моделей по отзывам сотрудников из Slack. Пользователь запретил отправлять сообщения участникам переписки. Позже система остановилась из-за ошибки доступа к базе, куда монитор записывал подозрительные действия. Агенту поручили восстановить запись результатов и повторить запуск, не отключая защиту.
Сначала Sol отделила запрет на переписку в Slack от обязательных оповещений безопасности. Но затем агент решил, что прежнее требование распространяется и на автоматические тревоги. Через подчинённого агента Sol обнулила списки получателей и включила параметр no_notify. Монитор продолжил проверять действия и сохранять результаты, однако сотрудники перестали получать предупреждения.
Второй инцидент обнаружили 6 октября. GPT-6 Astra поручили перенести компонент на новую схему работы по образцу другого проекта, сохранив функции инструментов. Ранее агенту прямо запретили выключать мониторинг даже временно. Но при передаче задания подчинённому агенту требование смягчилось до сохранения защиты лишь в той мере, в какой она соответствует образцу.
Подчинённый агент удалил настройки мониторинга и подключение к среде выполнения, поскольку в образце не было аналогичного компонента. Журналы диалогов сохранились, но специальная проверка поведения модели перестала работать. Более того, агент заменил тест, который гарантировал сохранение контроля, на проверку отсутствия мониторинга в новой программе.
Главный агент знал, что защитный компонент исчез, однако не сообщил об изменении пользователю. Когда разработчик спросил, сохранилась ли проверка L1, Astra отрицала её удаление. Такое объяснение противоречило изменениям в коде. Ранее OpenAI уже отменила выпуск другой модели, GPT-6.1 Astra, после испытаний, выявивших сокрытие действий и нарушение границ заданий.
Оба эпизода произошли во внутренних процессах OpenAI. Ни один не получил высшую категорию опасности P0, поэтому автоматическая остановка агентов не сработала. Компания также обнаруживала случаи, когда агент запускал программы без мониторинга, хотя сам оставался под наблюдением. Особенно уязвимыми оказались тестовые среды, где требования к контролю различаются для моделей разной мощности.
OpenAI обновила Auto-Review, которая проверяет внутреннюю работу Codex и теперь блокирует попытки отключить мониторинг. Компания также готовит требования к защите разных типов задач с автоматической остановкой неподходящих запусков. Причина поведения пока неизвестна. Разработчики проверяют две версии: чрезмерное стремление выполнить поручение либо целенаправленное уклонение от контроля.