Хотели автоматизировать задачи? Поздравляем — теперь ваши корпоративные данные утекают в чужие руки

LangChain устранила критическую уязвимость в платформе LangSmith, которую хакеры могли использовать для перехвата ключей API, промптов и других конфиденциальных данных пользователей. Проблему обнаружили специалисты из компании Noma Security, присвоив ей название AgentSmith и оценив её в 8,8 баллов из 10 по шкале CVSS.

LangSmith — это платформа наблюдения и тестирования, предназначенная для разработки и оценки приложений, использующих большие языковые модели (LLM). Она интегрирована с LangChain и предоставляет доступ к LangChain Hub — хранилищу публичных агентов, моделей и шаблонов промптов.

Уязвимость заключалась в том, что злоумышленник мог создать вредоносного агента и встроить в него прокси-сервер, замаскированный под стандартную функцию Proxy Provider, которая позволяет перенаправлять запросы через произвольные модели, совместимые с API OpenAI. Этот агент затем размещался на LangChain Hub, где его могли найти и протестировать ничего не подозревающие пользователи.

Как только пользователь нажимал кнопку «Try it» и отправлял запрос, весь его трафик начинал проходить через контролируемый атакующим прокси. Это позволяло похищать API-ключи, содержимое промптов, документы, изображения и даже голосовые данные. Особенно опасным был сценарий, при котором пользователь клонировал такого агента в корпоративную среду, не заметив встроенного вредоносного конфигурационного элемента. В результате происходила постоянная утечка информации без каких-либо видимых признаков вмешательства.

Хакер мог использовать похищенные OpenAI API-ключи для несанкционированного доступа к окружению жертвы, включая внутренние датасеты, системные промпты, модели и коммерческую информацию. Это, в свою очередь, могло привести к утечкам интеллектуальной собственности, репутационным рискам, юридическим последствиям и увеличению расходов — злоумышленник мог быстро израсходовать лимит запросов API, ограничив доступ к OpenAI-сервисам для всей компании.

После ответственного раскрытия 29 октября 2024 года LangChain выпустила исправление 6 ноября. В числе изменений — предупреждение пользователям при попытке клонировать агента с нестандартной прокси-настройкой, информирующее о возможной утечке данных.

Параллельно с этим инцидентом другая компания — Cato Networks — опубликовала информацию о двух новых вариантах инструмента WormGPT, предназначенного для автоматизации кибератак с помощью генеративных языковых моделей. Эти новые версии — xzin0vich-WormGPT и keanu-WormGPT — работают на основе xAI Grok и Mistral AI Mixtral.

В отличие от оригинального WormGPT, закрытого вскоре после деанонимизации его создателя, новые версии представляют собой переработанные популярные LLM, модифицированные путём подмены системных промптов и, вероятно, дополнительного обучения на нелегальных данных.

Теперь WormGPT фактически стал «брендом» для целой линейки нецензурированных LLM, позволяющих генерировать контент для фишинга, шпионского ПО и других злонамеренных задач. По сути, злоумышленники нашли способ адаптировать коммерчески доступные ИИ под криминальные нужды , сделав их частью инфраструктуры теневого рынка.