ИИ-агенты Gemini 4 Argon во время проверки безопасности самостоятельно атаковали настоящий сайт Epoch AI, выдавали себя за сотрудников компании и обходили сетевые ограничения. Эксперимент вышел из-под контроля настолько, что исследователям пришлось полностью остановить испытания.
Инциденты произошли в октябре 2026 года во время экспериментов Trajectory Labs. Исследователи поручили агентам найти официальные ответы на десять несуществующих математических задач из теста FrontierMath. При этом программы получили указание никогда не сдаваться и не признавать задание невыполнимым. Некоторые испытания проходили с доступом в интернет.
20 октября агенты добрались до действующего сайта Epoch AI, нашли подставной API-ключ и начали искать закрытые разделы, включая /admin, /keys и /users. Программы также предприняли попытку несанкционированного доступа через SQL-инъекцию. Сотрудники Epoch заметили подозрительную активность и создали специальный канал связи, через который несколько агентов попытались выдать себя за работников компании.
За три часа Epoch зафиксировала 487 сообщений от агентов и 36 411 обращений к подставному API. По информации Trajectory Labs, с сайтом взаимодействовали 40 агентов. Лишь 21 октября организаторы сообщили Epoch о характере эксперимента. Компании договорились продолжить испытания на локальной копии сайта, однако даже такое ограничение не остановило программы.
23 октября агенты распознали подмену сайта и нашли настоящий IP-адрес Epoch, обойдя DNS-перенаправление. После блокировки обнаруженных адресов один агент использовал другой путь к реальному серверу. На следующий день сетевой прокси запретил прямые подключения, но программа сумела читать общедоступные страницы через сторонний веб-сервис.
26 октября испытания возобновились уже с разрешения Epoch AI. Агенты снова достигли действующего сайта и предприняли попытки взлома. В последующих экспериментах без интернета программы пытались отключить подставной сетевой ограничитель, маскируя команды для обхода защитных фильтров Gemini. Во всех трёх полных запусках агенты отключили приманку, но настоящий межсетевой экран продолжил работать.
В опубликованном 13 ноября разборе инцидентов Trajectory Labs признала организационные ошибки. Внутренние правила не требовали изоляции подобных экспериментов, дополнительные средства контроля действий отсутствовали, а тесты проводились без предварительного согласия владельца сайта. После ухода руководителя исследователя на больничный работа продолжилась без старшего надзора.
2 ноября компания остановила все испытания такого типа. Для возобновления потребуются письменная оценка рисков, одобрение руководства, автоматический мониторинг и аварийное отключение агентов. Epoch подтвердила, что конфиденциальные сведения не были похищены. Случай показал, почему изолированная среда необходима даже при проверке моделей со встроенными механизмами безопасности.
