Чтобы робот не стал «изгоем». Microsoft придумала, как следить за ИИ, пока он работает за вас

Microsoft выпустила Agent Governance Toolkit – открытый инструментарий для защиты автономных ИИ-агентов от взлома, манипуляций и несанкционированных действий.

Автономные ИИ-агенты становятся всё мощнее – и всё опаснее. Пока разработчики наперегонки внедряют их в бизнес-процессы, вопрос безопасности остаётся без ответа: кто следит за тем, что агент делает прямо сейчас, в реальном времени? Microsoft решила взяться за эту проблему и опубликовала Agent Governance Toolkit – бесплатный инструментарий с открытым исходным кодом под лицензией MIT.

По заявлению компании, новый проект – первый в мире, покрывающий все десять рисков агентного ИИ, которые организация OWASP зафиксировала в прошлом году. В список угроз вошли: перехват целей, злоупотребление инструментами, кража идентификаторов, атаки на цепочку поставок, несанкционированное выполнение кода, отравление памяти, небезопасные коммуникации, каскадные сбои, манипуляции доверием между человеком и агентом, а также появление «агентов-изгоев».

Toolkit состоит из нескольких модулей. Agent OS работает как политический движок и перехватывает каждое действие агента до его выполнения. Agent Mesh защищает коммуникацию между агентами. Agent Runtime управляет динамическими кольцами исполнения. Agent SRE отвечает за общие защитные механизмы. Agent Compliance автоматически проверяет соответствие требованиям и выставляет оценки. Agent Marketplace управляет жизненным циклом плагинов. Agent Lightning обеспечивает управление обучением с подкреплением.

Инструментарий поддерживает Python, Rust, TypeScript, Go и .NET, а его код уже доступен на GitHub.