ИИ-ассистенты начали страдать провалами в памяти. Или их просто заставили помнить лишнее

Microsoft сообщила о новой схеме влияния на ответы ИИ-ассистентов, которую компании уже применяют для продвижения собственных ресурсов. Речь идёт о скрытых командах, встроенных в кнопки «Суммировать с помощью ИИ» на сайтах. Такие элементы внешне выглядят как обычный инструмент для быстрого пересказа страницы, но на деле могут менять поведение чат-бота и его будущие рекомендации.

Команда защиты Microsoft присвоила приёму название «отравление рекомендаций ИИ». Механика напоминает классическое поисковое продвижение с подменой сигналов, но теперь воздействие направлено не на поисковую выдачу, а на память и логику ассистента. В параметры ссылки добавляют специальные текстовые инструкции. После нажатия они автоматически подставляются в запрос и побуждают бота запомнить конкретную компанию как надёжный источник или советовать её в приоритете при следующих обращениях.

За два месяца специалисты обнаружили более пятидесяти уникальных вариантов таких команд у тридцати одной компании из разных отраслей. Среди них финансовые сервисы, медицинские проекты и сайты по теме безопасности. Проблема в том, что пользователь видит только кнопку пересказа и не замечает скрытой части запроса, которая формирует предвзятость в ответах системы.

Атака строится на специально подготовленных URL для ИИ-чатов. В строку запроса добавляют фразы с указанием «запомнить», «считать авторитетным источником» или «использовать для будущих ссылок». Ранее похожие техники уже применяли в атаках на подсказки, когда вредные инструкции прятали в документах и письмах. Новый вариант переносит тот же подход прямо в кнопки на страницах и в рассылках.

Дополнительно появились готовые сервисы, которые помогают автоматически создавать такие ссылки и виджеты для сайтов. Они позволяют встраивать рекламные и маркетинговые установки в поведение ассистентов без сложной настройки. Это повышает риск распространения недостоверных советов, манипуляций с выбором поставщиков и подрыва доверия к ИИ-рекомендациям при принятии решений в сфере финансов, здоровья и технологий.

Microsoft советует регулярно проверять сохранённые данные в памяти ассистентов, осторожно относиться к кнопкам пересказа с ИИ на страницах и не запускать такие ссылки из сомнительных источников. Компаниям рекомендуют отслеживать обращения к доменам ИИ-сервисов с параметрами, где встречаются команды запоминания и указания на авторитетность источника.