NVIDIA выпустила Nemotron 3.5 Super VL, мультимодальную ИИ-модель с 120 млрд параметров, которая умеет работать с текстом, изображениями, документами, видео и внешними инструментами. Компания заявляет, что в отдельных задачах новинка обрабатывает запросы до пяти раз быстрее других открытых моделей сопоставимого класса, хотя преимущество зависит от конкретного сценария и оборудования.
Nemotron 3.5 Super VL рассчитана прежде всего на ИИ-агентов, которым мало просто отвечать на вопросы. Модель может искать информацию, разбирать документы и таблицы, анализировать видео, писать и проверять код, а также обращаться к подключённым инструментам. Разработчики могут дополнительно обучить Nemotron на собственных данных и запустить в своей инфраструктуре.
При внушительных 120 млрд параметров модель использует для обработки каждого токена только около 12 млрд. Такой принцип называют смесью экспертов: внутри большой нейросети работают несколько специализированных блоков, а для конкретного фрагмента текста система включает лишь нужную часть. Компьютеру приходится выполнять меньше вычислений, поэтому большая модель может отвечать быстрее и требовать меньше ресурсов.
NVIDIA объединила этот подход с архитектурами Transformer и Mamba. Разработчики также научили модель заранее предсказывать несколько следующих токенов, чтобы ускорить генерацию. В технических испытаниях один ускоритель GB200 выдавал до 4856 выходных токенов в секунду при условии, что каждый пользователь получал не менее 50 токенов в секунду. Версия с четырёхбитным форматом NVFP4 показала в 2,43 раза большую пропускную способность, чем вариант BF16.
Заявленные «пять раз быстрее» тоже требуют оговорки. NVIDIA получила такой результат при сравнении пропускной способности на одном графическом процессоре в определённом наборе задач. В другом испытании, где модели поручили выполнить 10 тысяч заданий по программированию, Nemotron 3.5 Super VL закончила работу примерно в четыре раза быстрее конкурентов. Независимые тесты в других конфигурациях могут дать иное соотношение.
Вместе с Super VL компания расширила семейство двумя компактными моделями Nemotron 3.5 Bolt для локального запуска. Bolt 74B-A9B занимает 24 ГБ памяти благодаря двухбитному квантованию и может работать на совместимых компьютерах без отправки всех данных в облако. Ещё более компактная Bolt E4B требует около 4 ГБ памяти и ориентирована на разговорных помощников и устройства с ограниченными ресурсами.
NVIDIA уже открыла доступ к Nemotron 3.5 Super VL и Bolt 74B-A9B, а Bolt E4B должна выйти 23 октября. Для Super VL компания публикует веса модели, варианты BF16 и NVFP4, наборы данных и материалы для дополнительного обучения. Теперь разработчикам предстоит проверить, насколько заявленная скорость сохранится в реальных системах, где ИИ-агентам приходится одновременно держать большой контекст, обращаться к инструментам и выполнять длинные цепочки действий.