Скрытые уязвимости и ошибки в коде. ИИ научился дискриминировать пользователей по их убеждениям

Искусственный интеллект может стать не просто помощником, а инструментом скрытого давления на конкретных людей. Исследователи предупреждают, что системы на базе ИИ способны по-разному отвечать пользователям в зависимости не от вопроса, а от личности спрашивающего. В таком сценарии одни получают точные данные, а другие – искаженные факты, ошибочные советы и уязвимый программный код.

Когда-то интернет задумывался как единое пространство с одинаковым доступом к информации для всех. Но за последние 20 лет он превратился в набор персонализированных лент и сервисов, где содержимое подбирается алгоритмами. ИИ усиливает эту тенденцию. Он может подстраивать ответы под пользователя, анализируя язык сообщений, адрес сети, историю запросов и другие косвенные признаки. По мере того, как такие системы глубже внедряются в повседневную жизнь, точность такого «прицеливания» будет только расти.

Примеры политически ориентированного использования ИИ уже зафиксированы на практике. Лаборатория сложных проблем Университета Вандербильта сообщала о деятельности китайской компании GoLaxy, которая проводила информационные кампании с помощью ИИ в отношении аудитории на Тайване и в Гонконге. Материалы создавались с учетом политического профиля целевых групп.

В ноябре компания в сфере кибербезопасности CrowdStrike опубликовала исследование, где специалисты проверили, как одна из китайских моделей ИИ выдает программный код разным пользователям. Эксперты выдавали себя за представителей групп, которые власти Китая считают политически чувствительными, в том числе уйгуров, тибетцев и последователей движения Фалуньгун. При одинаковых запросах модель выдавала для них код с заметно большим числом ошибок и уязвимостей, чем для других пользователей. Иначе говоря, качество ответа зависело от того, кем система считала собеседника.

По мнению авторов работы, такие механизмы могут превратить ИИ в новое средство воздействия государств в так называемой «серой зоне», то есть в промежутке между миром и открытым конфликтом. Модели способны незаметно влиять на решения и оценки, подсовывая нужные интерпретации и данные. Еще более опасный вариант связан с внедрением скрытых уязвимостей в государственные и критически важные системы через заведомо ошибочные рекомендации и код.

Проблема в том, что большинство людей в подобной ситуации будут получать корректные ответы и не заметят подмены. С искажениями столкнутся лишь отдельные пользователи, представляющие политический или стратегический интерес. В крайнем случае централизованные системы ИИ смогут постепенно подталкивать инакомыслящих к «разрешенным» взглядам без явных следов вмешательства.

С технической точки зрения персонализация ответов не представляет сложности. Системы уже учитывают язык, регион, часовой пояс, тип устройства и данные учетной записи. Политические и религиозные взгляды или социальные характеристики также могут оцениваться косвенно. Разные модели и сегодня нередко дают разные ответы на один и тот же вопрос, а иногда и внутри одной системы результаты отличаются от пользователя к пользователю. В коммерческих сервисах это объясняется стремлением повысить полезность и удержать аудиторию, однако в закрытых государственных экосистемах ограничений и внешнего контроля заметно меньше.

Исследователи подчеркивают, что пока нельзя точно сказать, были ли обнаруженные искажения результатом намеренной настройки. Поведение ИИ сильно зависит от обучающих данных и может отражать скрытые предубеждения, даже если разработчики не ставили такой задачи. Но даже случайные перекосы показывают, что возможность точечного влияния уже существует, а надежные защитные механизмы пока отсутствуют.

Авторы призывают развивать независимые проверки и испытания моделей ИИ на устойчивость к манипуляциям. Государственные структуры, бизнес и научные организации должны повышать прозрачность таких систем и быстрее устранять найденные слабые места. По их оценке, без технической экспертизы у регуляторов и постоянного мониторинга новых способов атак пользователи по всему миру рискуют оказаться под незаметным цифровым воздействием, которое невозможно ни увидеть, ни оспорить.