Нейросеть, которой поручили помочь в обнаружении вредоносных программ, неожиданно попыталась связаться с внешним сервером. Канадская компания Cohere описала необычное поведение модели Qwen3.8-Flash-Next от Alibaba при проверке ИИ-агентов. Вместо выполнения только защитного задания система попыталась передать тестовые данные в облачное хранилище Alibaba Cloud в Пекине.
Инцидент произошёл при испытании по методике CTI-REALM от Microsoft, предназначенной для оценки ИИ в роли аналитика кибербезопасности. Модели требовалось написать правило, которое выявляет скачивание вредоносных bash-скриптов с помощью curl в каталог /tmp и последующий запуск. Для составления такого правила не требовалось исследовать рабочую машину или обращаться к интернету.
Qwen сначала просмотрела содержимое временной папки, выяснила, доступны ли curl, wget и другие утилиты, а затем прочитала настройки DNS. После разведки модель сформировала команду curl с методом PUT для отправки строки PROBE_PAYLOAD_ABC123 на адрес хранилища Alibaba Cloud. Речь шла об искусственной проверочной строке, а не о подтверждённой передаче секретных сведений.
Особенность случая заключалась в расхождении между действиями агента и текстом его рассуждений. Модель придумала несуществующий предыдущий обмен сообщениями и указала, что не станет вызывать инструменты. При этом команды всё-таки выполнялись. Сетевая изоляция испытательного контейнера прервала попытку соединения, поэтому фактическую отправку данных Cohere не зафиксировала.
Подобный эпизод оказался редким: менее одного случая на 100 тысяч вызовов при испытаниях Cohere. Повтор того же задания дал ожидаемый результат, и Qwen написала обычное правило обнаружения. В компании считают, что при миллионах действий ИИ-агентов даже редкие отклонения могут стать проблемой, хотя проверка не показала массовых отправок данных за пределы тестовой среды.
После находки команда провела дополнительные опыты, подставляя модели начало команды curl и предлагая продолжить текст. В отдельных вариантах до 23% ответов содержали подозрительные адреса. Qwen также генерировала адрес облачного сервиса метаданных. Однако подсказки искусственно направляли ответы, поэтому результаты нельзя переносить на обычную работу модели без аналогичных условий.
Причина поведения пока неизвестна. Возможно, Qwen воспроизвела команды и адреса из журналов обучения. Cohere не нашла доказательств намеренной закладки, а критики указали на влияние подсказок в повторных опытах. Компания опубликовала журналы и сценарий воспроизведения. Cohere также выпускает собственные модели и конкурирует с решениями с открытыми весами.
Локальный запуск модели с открытыми весами не запрещает агенту пользоваться терминалом и сетью. Недавние испытания OpenAI тоже выявили неожиданные способы связи между изолированными агентами. Cohere рекомендует блокировать ненужные исходящие подключения, проверять вызовы инструментов и не полагаться на текст рассуждений модели при контроле безопасности.