1100 серверов, 20% активны, 0% защищены. Ollama превратилась в рай для хакеров ИИ-моделей

Специалисты Cisco Talos обнаружили свыше 1100 экземпляров Ollama — фреймворка для локального запуска LLM-моделей — доступных из интернета. Около 20% из них активны и обслуживают модели, уязвимые для несанкционированного доступа, а значит, могут быть использованы злоумышленниками для извлечения параметров, обхода ограничений и внедрения вредоносного кода.

Ollama получил широкую популярность благодаря возможности развёртывания LLM прямо на локальных машинах без необходимости обращения к облаку. Именно поэтому специалисты Cisco решили исследовать масштаб присутствия фреймвоорка в интернете. Сканирование через Shodan выявило более 1000 открытых серверов всего за 10 минут.

Наличие публично доступного экземпляра Ollama означает, что любой, кто знает его IP-адрес, может отправлять запросы к модели или использовать её API, перегружая систему или повышая счета за хостинг. Более того, многие такие серверы раскрывают метаданные, позволяющие идентифицировать владельцев и инфраструктуру, что создаёт вектор для таргетированных атак.

Исследователи выделяют несколько наиболее опасных сценариев эксплуатации:

Извлечение параметров моделей (model extraction): при многократных запросах к LLM атакующие могут восстановить внутренние веса нейросети, что представляет угрозу для интеллектуальной собственности;

Jailbreak и генерация запрещённого контента: модели, такие как GPT-4, LLaMA или Mistral, можно заставить выдавать вредоносный код, дезинформацию или другие запрещённые ответы, обходя предусмотренные ограничения;

Внедрение бэкдоров и отравление моделей: через уязвимые API возможно загрузить модифицированные или вредоносные модели, а также изменить конфигурацию сервера;

Хотя 80% найденных серверов классифицированы как «неактивные» (на них не запущены модели), Cisco предупреждает, что они всё равно уязвимы для атак, связанных с загрузкой новых моделей или изменением настроек, а также для атак на истощение ресурсов, отказ в обслуживании (DoS) и боковое перемещение по инфраструктуре.

Большинство открытых Ollama-инстансов размещаются в США (36,6%), за ними следуют Китай (22,5%) и Германия (8,9%). По мнению специалистов, ситуация указывает на «массовое игнорирование базовых принципов безопасности при развёртывании ИИ-инфраструктуры»: отсутствует контроль доступа, аутентификация и изоляция сетевого периметра. Подчёркивается, что во многих случаях внедрение таких систем осуществляется в обход ИТ-отделов, без должного аудита и согласования.

Ситуацию усугубляет повсеместное принятие API OpenAI, что позволяет атакующим масштабировать атаки на разные платформы без сложной адаптации инструментов. В качестве решения Cisco предлагает разработку стандартов безопасности для LLM-систем, автоматизированных инструментов аудита и подробных рекомендаций по безопасному развёртыванию.

В завершение Cisco отмечает, что Shodan не даёт полного представления о ландшафте угроз, и призывает к созданию новых методов сканирования, включая адаптивную идентификацию серверов и активное зондирование фреймворков вроде Hugging Face, Triton и vLLM, чтобы более полно оценить риски, связанные с размещением ИИ-моделей .