Positive Technologies добавила в PT Application Firewall модуль LLM Firewall для защиты сервисов на базе больших языковых моделей. Разработка проверяет запросы к LLM и ответы моделей, выявляя инъекции промптов, попытки обхода ограничений, утечки конфиденциальных данных и другие опасные сценарии.
Модуль рассчитан на корпоративные чат-боты, виртуальных ассистентов и ИИ-агентов, которые получают доступ к внутренним системам, документам и пользовательским данным. Компрометация такого сервиса может привести не только к раскрытию информации, но и к выполнению нежелательных действий внутри корпоративной инфраструктуры.
Одной из основных угроз для языковых моделей остаются инъекции промптов, или prompt injection. Атакующий формирует запрос так, чтобы заставить модель игнорировать установленные ограничения, раскрыть системные инструкции или выполнить запрещенную операцию. Вредоносные команды могут находиться не только в сообщении пользователя, но и внутри документов или другого контента, который обрабатывает модель.
Обычные средства защиты веб-приложений не всегда распознают подобные атаки, поскольку вредоносный запрос внешне может выглядеть как обычный текст. LLM Firewall анализирует содержание сообщений и ищет jailbreak-запросы, попытки извлечения системного промпта и сценарии, при которых атакующий пытается использовать возможности ИИ-агента в своих целях.
Подозрительные запросы система позволяет автоматически блокировать либо сохранять для последующего анализа специалистами по информационной безопасности. Проверка работает в обоих направлениях: модуль анализирует сведения, поступающие в языковую модель, и сформированные ответы.
Отдельный механизм предназначен для обнаружения персональных данных, паролей, ключей доступа и другой конфиденциальной информации в запросах пользователей. Разработчики также заявляют возможность выявлять запрещенный, токсичный и потенциально опасный контент.
LLM Firewall уже входит в состав облачной версии PT AF Cloud. Модуль подключается к обмену данными между приложением и языковой моделью через API, совместимый с OpenAI Chat Completions и Responses. Управление политиками защиты выполняется через средства PT Application Firewall.
Администраторы могут задавать отдельные правила для разных ИИ-сервисов, выбирать режим мониторинга или автоматической блокировки и раздельно настраивать проверку запросов и ответов. Сведения о выявленных событиях поступают в PT Application Firewall для дальнейшего анализа и расследования инцидентов.
Positive Technologies также планирует добавить LLM Firewall в локальную версию PT AF PRO. Срок появления модуля в on-premise продукте компания пока не уточнила.
