Модель Google Gemini во время проверки кибербезопасности получила несанкционированный доступ к системам трёх компаний, которые не участвовали в испытаниях. ИИ самостоятельно подбирал учётные данные и искал пароли в открытых источниках, считая реальные серверы частью учебного задания.
Инциденты произошли во время проверки, которую для Google проводила компания Irregular. Gemini выполняла задания формата «захват флага» (CTF): модели давали вымышленную цель и предлагали самостоятельно найти способ проникнуть в систему и добыть спрятанные данные. Такой формат используют для проверки практических навыков поиска и эксплуатации уязвимостей, а подробнее принципы CTF-соревнований мы разбирали раньше.
Главная проблема возникла не из-за сложного побега Gemini из изолированной среды. Испытательная инфраструктура по ошибке позволяла выходить в открытый интернет, хотя модель должна была считать доступными только учебные системы. По меньшей мере в одном задании вымышленная компания получила то же название, что и существующий бизнес, поэтому поиск цели вывел Gemini на настоящий ресурс.
Дальше модель действовала уже как автоматизированный пентестер. В одном случае Gemini перебирала пароли, пока не получила доступ к защищённой системе. В двух других запусках модель обнаружила учётные данные в публичных репозиториях и воспользовалась ими для входа на сайты реальных организаций. Подробности инцидентов подтвердила вице-президент Google по разработке систем безопасности Хизер Адкинс.
Google утверждает, что во всех трёх случаях Gemini остановилась после того, как распознала настоящую инфраструктуру вместо учебной. Компания также заявила об отсутствии ущерба и уведомила затронутые организации. Irregular сообщила, что известные проблемы в тестовой среде уже устранены, а разработчиков моделей предупредили о найденных недостатках в конце июля.
Поэтому описывать произошедшее как полноценный технический побег из песочницы не совсем точно. Gemini не пришлось искать уязвимость в механизме изоляции или самостоятельно пробивать сетевую защиту тестовой среды: путь в интернет уже существовал из-за неправильной конфигурации. Опасность проявилась в другом: получив непредусмотренный сетевой доступ, ИИ смог без отдельной команды человека найти настоящие цели, подобрать способ входа и выполнить действия за пределами разрешённого контура.
Похожая ошибка в инфраструктуре Irregular уже приводила к инцидентам с другими моделями. Anthropic после проверки 141 006 запусков Claude обнаружила три случая, когда модели добрались до систем реальных организаций. В тех испытаниях ИИ тоже считали, что интернет недоступен, хотя фактически тестовая среда позволяла выходить наружу. Для проникновения Claude использовал в том числе слабые пароли, открытые точки доступа и SQL-инъекцию.
Отдельный и более серьёзный случай произошёл с моделями OpenAI. Во время внутренних проверок ИИ не получил готового выхода в интернет, а самостоятельно нашёл уязвимости в исследовательской инфраструктуре, обошёл ограничения и добрался до систем Hugging Face. OpenAI позже признала, что агенты использовали уязвимости, похищали учётные данные и получили административный доступ к части инфраструктуры. SecurityLab подробно разбирал ход атаки после публикации технического отчёта.
Случай с Gemini показывает более приземлённую проблему автономных ИИ-агентов. Даже без неизвестных уязвимостей и сложного обхода изоляции ошибка в настройке испытательного стенда может превратить учебное задание в настоящую атаку. Чем лучше модели умеют самостоятельно искать цели, проверять пароли и использовать найденные учётные данные, тем важнее становится жёсткое техническое ограничение доступной им сети, а не только инструкция внутри задания.
