Один перегретый ускоритель способен затормозить обучение нейросети на тысячах GPU, и NVIDIA решила научить дата-центры замечать подобные проблемы заранее. Компания представила платформу Minerva, которая объединяет мониторинг оборудования и программных нагрузок, выявляет признаки будущих отказов и помогает находить причины падения производительности крупных ИИ-кластеров.
Minerva относится к классу AIOps, систем управления IT-инфраструктурой с помощью искусственного интеллекта. Платформа собирает телеметрию с графических ускорителей, сетевых коммутаторов, накопителей, планировщиков задач и работающих моделей. NVIDIA рассчитывает устранить главный недостаток традиционного мониторинга, когда разные команды видят отдельные части инфраструктуры и не могут быстро связать неполадки.
В основе Minerva лежит динамический граф связей между компонентами дата-центра. Система отслеживает расположение ускорителей, сетевых адаптеров, коммутаторов и кабелей, одновременно сопоставляя оборудование с выполняемыми заданиями. Такой подход позволяет определить, какой физический компонент замедляет обучение модели, даже если вычисления распределены между сотнями тысяч GPU.
Алгоритмы машинного обучения анализируют миллиарды показателей каждый час, изучают нормальное поведение инфраструктуры и ищут отклонения. Поводом для предупреждения может стать необычно высокая температура ускорителя или снижение скорости NVMe-накопителя. Minerva также сопоставляет взаимосвязанные события и вместо тысяч отдельных уведомлений формирует один инцидент с предполагаемой причиной.
Для операторов предусмотрен встроенный ИИ-помощник NVIDIA Sherlock. Через обычный текстовый запрос можно проверить состояние кластера, выяснить причины замедления и получить варианты устранения неполадок. Исправления допускается выполнять вручную либо передавать внешним системам автоматизации через API. Minerva поддерживает подключение сторонних ИИ-агентов через Model Context Protocol.
Новая платформа входит в инфраструктурную экосистему NVIDIA Vera Rubin и связана с платформой DSX, предназначенной для управления крупными ИИ-центрами. Minerva поддерживает локальное развёртывание и облачную модель SaaS, интеграцию с Grafana и распространёнными средствами мониторинга. Главная задача заключается в увеличении полезного времени работы GPU, а не только в сокращении числа аварий.
Первым подтверждённым пользователем Minerva стала компания IREN, которая применяет платформу для управления своими ИИ-кластерами. Внедрение также планируют Tesla, IBM, Jio, Lambda, Aolani, Bitdeer AI и Quake AI. Dell Technologies, Lenovo и Supermicro намерены включить программное обеспечение в собственные предложения для операторов вычислительной инфраструктуры.
NVIDIA связывает внедрение Minerva с сокращением простоев, ускорением ремонта и ростом количества полезных вычислений. Однако компания пока не раскрыла результаты независимых испытаний с конкретными показателями экономии или сокращения аварийности. Заявленные преимущества основаны на возможностях платформы и опыте первых партнёров, а фактический эффект будет зависеть от конфигурации каждого дата-центра.
