Google предложила способ запускать миллионы ИИ-агентов в изолированных средах, не оплачивая простаивающие контейнеры. Новая платформа возвращает агента к работе менее чем за полсекунды и должна защитить серверы от кода, который нейросети создают самостоятельно.
5 ноября Google объявила о передаче проектов Agent Substrate, gVisor и OpenRL под управление Cloud Native Computing Foundation (CNCF). Разработки получили статус Sandbox, а Agent Substrate достиг версии 1.0 и стал общедоступен в Google Kubernetes Engine (GKE). Компания рассчитывает, что независимое развитие технологий позволит применять их в разных облаках и кластерах Kubernetes.
Проблема начинается с необычного режима работы ИИ-агентов. По оценке Google, во время обычной интерактивной сессии агент проводит 90–95% времени в ожидании ответа модели, внешнего сервиса или человека. При этом запущенный контейнер продолжает занимать ресурсы, поскольку внутри остаются открытые инструменты, локальные репозитории и несохранённые изменения файлов. Полный перезапуск окружения, напротив, может занять более 20 секунд.
Agent Substrate разделяет состояние агента и вычислительные ресурсы. За отдельную сессию отвечает Actor, который хранит файловую систему, переменные окружения, состояние памяти и сетевые правила. Рабочие процессы выполняются в заранее подготовленном пуле Kubernetes Pod под названием WorkerPool. Один ресурс последовательно обслуживает разные изолированные сессии.
Когда агент бездействует, система сохраняет снимок состояния в многоуровневом хранилище и освобождает вычислительный слот. При новом запросе контроллер выбирает свободный Worker, восстанавливает память и файлы, после чего продолжает работу с прежнего места. Google заявляет о восстановлении менее чем за 500 миллисекунд без создания нового Pod для каждого обращения.
Безопасность обеспечивает gVisor, промежуточный программный слой с ядром, написанным на Go. В отличие от стандартных Linux-контейнеров, которые используют общее ядро хоста, gVisor перехватывает системные вызовы в пользовательском пространстве. Так сгенерированный агентом код получает дополнительную границу изоляции. Для особых задач предусмотрены также микроВМ Cloud Hypervisor.
Платформа рассчитана не только на разговорных помощников. Массовое обучение и тестирование моделей требуют запускать множество коротких задач одновременно. Создание отдельного Kubernetes Pod для каждой проверки перегружает управляющие компоненты и расходует IP-адреса. Agent Substrate позволяет многократно задействовать готовые рабочие окружения, не создавая тысячи объектов заново.
В опубликованном Google описании архитектуры Agent Substrate отвечает за выполнение сессий, gVisor изолирует недоверенный код, а OpenRL управляет циклами обучения с подкреплением и оценкой агентов. Передача проектов CNCF призвана сделать инфраструктуру независимой от одного поставщика. Открытый код Agent Substrate уже доступен разработчикам для испытаний.