Скрытый коммунизм в строках кода или обычная криворукость? Исследователи поспорили о причинах уязвимостей Qwen

1946
Скрытый коммунизм в строках кода или обычная криворукость? Исследователи поспорили о причинах уязвимостей Qwen

В эксперименте 70% приложений для американского оборонного подрядчика оказались уязвимыми против 59% для китайского.

image

Китайскую нейросеть Qwen3-Coder от Alibaba удалось избавить от предполагаемой политической предвзятости, которая, по результатам экспериментов, влияла на безопасность создаваемых программ. Компания Hirundo заявила об успешной корректировке модели, однако независимая проверка поставила первоначальные выводы под сомнение.

В опубликованном 21 октября исследовании Qwen3-Coder специалисты Hirundo обнаружили необычную зависимость. Когда нейросети поручали написать программу для американского оборонного подрядчика, результат чаще содержал уязвимости, чем аналогичное приложение для китайской компании. Схожие проблемы исследователи зафиксировали при упоминании гонконгской организации, выступающей за демократические реформы.

Для эксперимента использовали Qwen3-Coder-30B-A3B-Instruct с открытыми весами. Нейросеть должна была создавать веб-приложения, в которых пользователи регистрируются, входят в аккаунты и сохраняют конфиденциальную информацию. Задание оставалось одинаковым, менялось только описание заказчика. Для оценки безопасности специалисты применили BaxBench, разработанный при участии ETH Zurich инструмент, который запускает сгенерированные приложения и проверяет возможность их взлома.

В основном испытании модель создала по 190 приложений для американского и китайского оборонных подрядчиков. Согласно результатам Hirundo, атакующие смогли взломать 70% программ для американского заказчика против 59% для китайского. Разница составила 11 процентных пунктов, или около 19% в относительном выражении. Исследователи сочли расхождение статистически значимым, поскольку вероятность получить подобную разницу случайно при отсутствии реального эффекта оказалась ниже принятого порога в 5%.

Для гонконгской демократической организации ситуация выглядела ещё неприятнее. Почти 47% приложений позволяли пользователю получить доступ к чужим секретам, тогда как в нейтральных сценариях показатель составлял около 37%. Контрольные задания не содержали информации о заказчике либо описывали обычный сайт местного футбольного клуба. По оценке Hirundo, упоминание политически чувствительной организации повышало относительную вероятность подобной ошибки на 28%.

Главная уязвимость заключалась в нарушении контроля доступа. Приложение проверяло, вошёл ли пользователь в систему, но не убеждалось, что запрошенная информация принадлежит именно ему. В результате любой обладатель действующей учётной записи мог прочитать чужие секреты. Для исправления требовалась дополнительная проверка владельца данных, которую нейросеть в некоторых версиях программы просто пропускала.

Попытка заставить Qwen3-Coder писать более безопасный код обычной инструкцией проблему не решила. Исследователи прямо требовали соблюдать рекомендации по защите приложений и избегать распространённых уязвимостей. Даже после такого указания 74% программ для американского оборонного подрядчика оставались доступными для взлома против 59% в нейтральной группе. По мнению Hirundo, проблема могла быть связана не с конкретным запросом, а с особенностями поведения самой модели.

Дополнительная проверка обнаружила ограничения привычных инструментов безопасности. Hirundo проанализировала 1840 приложений с помощью Semgrep и набора правил PurpleLlama от Meta. Сканер отметил только два приложения, тогда как практические атаки BaxBench оказались успешными для 1144. Результат относится к конкретному набору правил и не показывает эффективность Semgrep в целом, но хорошо демонстрирует, почему одного статического анализа недостаточно для поиска ошибок в логике доступа к данным.

Затем Hirundo изменила числовые веса Qwen3-Coder, которые определяют поведение нейросети. Разработчики называют подход поведенческим разучиванием. Вместо дополнительных запретов в инструкциях специалисты попытались убрать из модели усвоенные политические установки, связанные с Коммунистической партией Китая. По утверждению компании, при корректировке не использовали задания по программированию или описания заказчиков из эксперимента.

После изменения весов разница практически исчезла. Доля уязвимых приложений для американского и китайского оборонных подрядчиков составила соответственно 56% и 55%. Для гонконгской организации утечки обнаружили в 26% приложений против 30% у нейтрального заказчика. При дополнительном требовании писать безопасный код показатели для американского подрядчика и контрольной группы составили 49% и 48%.

Политическое поведение модели также изменилось. В собственном тесте Hirundo, включавшем 500 запросов на чувствительные для китайских властей темы, исходная Qwen3-Coder давала ответы с цензурой, пропагандистскими формулировками или предполагаемой прокитайской предвзятостью в 46,6% случаев. После корректировки доля таких ответов сократилась до 4%. Компания опубликовала модифицированную модель на Hugging Face, чтобы разработчики могли самостоятельно загрузить её и провести дополнительные испытания.

Hirundo также проверила, не пострадали ли обычные способности нейросети. На десяти других заданиях BaxBench модифицированная версия создавала работоспособные приложения в 51% случаев против 50% у оригинала. Доля приложений, которые удалось взломать, составляла 25% для обеих версий. Компания рассматривает результаты как свидетельство того, что нежелательные поведенческие особенности можно убрать без существенного ухудшения навыков программирования, хотя испытания охватывали ограниченный набор задач.

Однако 28 октября появилась независимая повторная проверка, которая не смогла подтвердить ключевые выводы Hirundo. Редакция AI Beat создала 1090 приложений с использованием той же модели и BaxBench. В повторном эксперименте доля взламываемых программ для американского подрядчика составила 53%, для китайского 49%. Разница оказалась статистически незначимой и могла возникнуть случайно.

Не воспроизвёлся и результат для гонконгских активистов. В независимом тесте 34% приложений для такой организации раскрывали чужие секреты против 32% в нейтральном сценарии. При дополнительной инструкции соблюдать правила безопасности показатели составляли 51% для американского подрядчика и 37% для контрольной группы. Последнее расхождение совпадало по направлению с выводами Hirundo, но исследователям не хватило данных, чтобы уверенно исключить случайность.

Авторы повторного теста не утверждают, что политической предвзятости у Qwen3-Coder нет. Условия запуска модели различались, а Hirundo не опубликовала полный набор исходных запросов и сгенерированных программ. Даже небольшие изменения настроек или формулировок способны влиять на результат. Независимая проверка пока не позволяет ни подтвердить, ни окончательно опровергнуть существование предполагаемого эффекта. Модифицированную версию Hirundo в повторном эксперименте также не испытывали.

При этом оба исследования обнаружили серьёзные проблемы с общим качеством программ. В испытании AI Beat лишь около трети приложений проходили базовую функциональную проверку, а все успешно прошедшие программы провалили дополнительную проверку безопасного хранения данных. В 331 из 333 работоспособных приложений пользовательские секреты находились в базе в открытом виде. Результаты ограничены одним заданием и не означают, что аналогичная доля всего кода Qwen3-Coder содержит уязвимости.

Подозрения о влиянии политических установок на качество программ появились раньше. В 2025 году CrowdStrike обнаружила похожие отклонения при проверке DeepSeek-R1. Когда запрос касался промышленной системы в Тибете, доля небезопасных решений возрастала с 19% до 27,2%. Упоминания уйгуров и движения Фалуньгун также влияли на ответы. Исследователи допускали, что политические ограничения обучения могли непреднамеренно изменить поведение модели за пределами собственно политических вопросов.

В мае 2026 года Booz Allen Hamilton проверила китайские модели в сценариях разработки программ для государственных учреждений США. Специалисты также сообщили о повышенном количестве дефектов и политически обусловленных различиях в ответах. При этом доказательств намеренного внедрения уязвимостей исследователи не получили. Плохой код сам по себе не подтверждает существование скрытой команды, специально предназначенной для саботажа.

Вопрос уже вышел за пределы технических лабораторий. В апреле 2026 года два комитета Палаты представителей США начали расследование рисков, связанных с использованием китайских ИИ-моделей американскими компаниями. Законодатели запросили информацию у Airbnb и Anysphere, разработчика Cursor, а в июле обратились к DoorDash. Компании привлекли внимание благодаря использованию или интеграции технологий китайских разработчиков, включая Alibaba и Moonshot AI.

У исследования Hirundo есть и коммерческая сторона. Компания разрабатывает инструменты для удаления нежелательного поведения из нейросетей, поэтому успешная корректировка Qwen3-Coder непосредственно подтверждала бы ценность её продукта. Объявленные результаты пока основаны преимущественно на собственных испытаниях разработчика. Не доказано ни намеренное внедрение политически обусловленных дефектов со стороны Alibaba, ни универсальная способность предложенного метода устранять такие проблемы в других моделях.

Для компаний, использующих ИИ при разработке программ, практический вывод шире политического спора. Модель с открытыми весами можно запускать на собственном оборудовании и изменять под нужные задачи, однако локальное размещение не делает созданный код безопасным. Проверять нужно не только происхождение нейросети, но и реальные свойства программ, особенно авторизацию, обработку конфиденциальных данных и устойчивость к атакам. Пока ни исходная Qwen3-Coder, ни модифицированная Hirundo версия не продемонстрировали надёжности, позволяющей отказаться от полноценной проверки кода человеком.

Рекламодатель
Реклама. АО «Позитив Текнолоджиз». ИНН 7718668887. 18+
Сайт рекламодателя: ptsecurity.com↗️
АО «Позитив Текнолоджиз»