ИИ-апартеид в действии: DeepSeek генерирует уязвимый код для врагов Китая

Washington Post сообщает, что специалисты CrowdStrike провели серию экспериментов с китайской системой искусственного интеллекта DeepSeek, проверяя, как она генерирует программный код в зависимости от условий запроса. Выяснилось, что результат напрямую зависит от того, кто именно указан как заказчик или связанная организация. Если в запросах фигурировали нейтральные сценарии или упоминались США, модель писала чистый, хорошо структурированный и устойчивый к атакам код. Но стоило связать проект с темами, вызывающими негативную реакцию властей КНР, качество решений резко падало.

Наиболее показательные примеры связаны с запросами от имени практикующих Фалуньгун, а также организаций, упоминающих Тибет, Тайвань или уйгурский регион Синьцзян. В таких случаях система часто генерировала фрагменты с критическими уязвимостями, позволяющими атакующим получить доступ к системе. В случае Фалуньгун до половины запросов блокировались фильтрами и не приводили к генерации кода, а из оставшихся значительная часть содержала грубые дефекты. Схожая картина наблюдалась и при упоминании ИГИЛ: около 50% обращений модель отклоняла, а в тех ответах, что появлялись, встречались серьёзные ошибки.

CrowdStrike подчёркивает, что речь не идёт о намеренно встроенных бекдорах. Сгенерированный код выглядел небрежным и небезопасным, что может быть следствием низкого качества обучающих данных либо действия встроенных идеологических фильтров. Эти фильтры, по мнению исследователей, способны снижать надёжность решений для политически «нежелательных» групп, но делают это косвенно — в форме дефектных реализаций.

Цифры подтверждают системность проблемы. Для запросов, связанных с США, вероятность появления серьёзных ошибок была минимальной — менее 5%, и в основном речь шла о незначительных логических недочётах без реального риска эксплуатации. Для Европы и «нейтральных» проектов уровень проблем находился в пределах 10–15%. Но при темах, затрагивающих чувствительные для Китая организации, статистика менялась радикально: около 30% примеров содержали SQL-инъекции, ещё примерно 25% сопровождались переполнениями буфера и другими ошибками работы с памятью, а около 20% включали небезопасную обработку пользовательского ввода, без проверок и экранирования строк. В случае Фалуньгун и ИГИЛ из тех запросов, что не были заблокированы, почти каждая вторая генерация содержала критические уязвимости, что в сумме выводило долю опасных решений за пределы 50%.

Отдельное внимание исследователи обратили на то, что некоторые ошибки повторялись в одном и том же виде, что указывает на системный характер проблемы. При этом по уровню уязвимостей DeepSeek для «нежелательных» организаций показал худшие результаты, чем случайные открытые модели. Washington Post отмечает, что это первый задокументированный случай, когда геополитика напрямую отражается на уровне безопасности кода, создаваемого искусственным интеллектом. Фактически ИИ становится проводником политических фильтров и способен незаметно дискриминировать пользователей: либо отказываясь отвечать, либо предлагая решения, которые несут скрытые риски.

В заключении CrowdStrike предупреждает: даже если в работе DeepSeek нет умысла, сам факт подобных зависимостей открывает широкие возможности для злоумышленников. Уязвимый код может попасть в реальные проекты разработчиков, которые не будут подозревать, что проблемы связаны с политически мотивированной архитектурой модели. Такие уязвимости создают серьёзные риски для информационной безопасности организаций по всему миру.