NVIDIA представила четыре специализированные модели Cosmos 3 Nano для создания виртуальных миров, в которых беспилотные автомобили и роботы могут взаимодействовать с окружением. Новые разработки позволяют проверять поведение автономных систем без испытаний на реальной технике.
Главная особенность новых моделей заключается в способности изменять виртуальную обстановку в зависимости от действий машины. Если беспилотник поворачивает руль, симуляция должна показать, как меняется вид из камер и показания датчиков. Роботизированная рука может перемещать предметы, а система генерирует последующие кадры с учётом выполненных движений. Подобная обратная связь позволяет испытывать алгоритмы управления в интерактивной среде.
Все четыре разработки основаны на Cosmos 3 Nano и содержат по 16 млрд обучаемых параметров. NVIDIA специализировала их для разных задач, поскольку создание дорожных сценариев и моделирование движений робота требуют различных входных данных. Вместо универсального видеогенератора разработчики получают готовые варианты для конкретных типов симуляций, которые можно дополнительно обучать на собственных материалах.
Первая модель, Cosmos3-Nano-Transfer-Auto, предназначена для создания искусственных дорожных сцен. Система одновременно генерирует изображения с 11 камер, включая широкоугольные объективы типа «рыбий глаз», и поддерживает данные LiDAR. Лидар измеряет расстояния с помощью лазерных импульсов и помогает автомобилю определять расположение окружающих объектов. В симуляции показания камер и лидара должны соответствовать одной дорожной обстановке.
Разработчики задают расположение полос, дорожную разметку, объекты и движение транспорта через специальные карты сценариев World Scenario Map. Текстовые команды позволяют менять погоду, освещение и время суток, сохраняя структуру дороги и заданные траектории. Например, одну поездку можно воспроизвести солнечным днём, ночью или под дождём. Подобные вариации нужны для обучения и проверки алгоритмов, которым сложно показать все опасные условия на реальных дорогах.
Вторая версия, Cosmos3-Nano-Sim-Auto, рассчитана на интерактивное моделирование движения. В отличие от Transfer-Auto, создающей подготовленные последовательности кадров, Sim-Auto генерирует изображение небольшими фрагментами и учитывает предыдущие результаты. После каждого действия система управления получает новые виртуальные показания камер и лидара, принимает решение и передаёт его симулятору. Для полноценной работы такого цикла требуется отдельная среда, обновляющая дорожный сценарий.
Третья модель, Cosmos3-Nano-Sim-Transfer, решает другую задачу. Она превращает упрощённое представление виртуальной сцены в реалистичное цветное видео. На вход можно подавать карты глубины, границы объектов, контуры или размытые изображения вместе с текстовым описанием. Например, физический симулятор рассчитывает перемещение робота и столкновения предметов, а нейросеть создаёт соответствующую картинку с нужными материалами, освещением и фоном.
Такой подход разделяет физические расчёты и визуализацию. За положение предметов и их движение отвечает обычный симулятор, а Cosmos формирует изображения, которые увидит система компьютерного зрения. Разработчики могут менять внешний вид помещения или освещение, не перестраивая физическую модель. Одновременно сохраняется возможность использовать точные координаты и другие параметры, рассчитанные симулятором.
Четвёртая разработка, Cosmos3-Nano-Sim-Bimanual, предназначена для роботов с двумя манипуляторами. Модель прогнозирует, как изменится изображение после движения рук, захватов или камеры. Поддерживаются роботизированные платформы YAM и AgiBot, а действия могут задавать алгоритмы управления либо человек с помощью джойстиков. Разработчик начинает с изображения сцены, передаёт последовательность команд и получает видео предполагаемых последствий.
В демонстрационном варианте Sim-Bimanual использует 59 управляющих значений, описывающих движения и состояние системы. При обучении их число дополняли до 64. Формат учитывает системы координат, углы поворота, параметры захватов и признаки корректности команд. Благодаря этому модель может связывать изменения изображения с конкретными движениями манипуляторов, а не просто создавать визуально похожую последовательность кадров.
В основе новых разработок лежат модели мира, которые учатся прогнозировать изменение окружающей среды. В архитектуре Cosmos 3 используются два взаимосвязанных трансформерных компонента для обработки информации и генерации изображений. Нейросеть создаёт последовательность кадров, постепенно уточняя их внутреннее представление с учётом команд управления и уже сформированной истории.
Для ускорения интерактивной генерации NVIDIA применяет многоэтапное обучение. Сначала модель осваивает связь между действиями и видеозаписями, затем учится предсказывать короткие фрагменты по предыдущим наблюдениям. На следующем этапе сокращается количество вычислительных шагов, необходимых для получения очередного кадра. Финальная стадия использует собственные результаты модели при обучении, чтобы уменьшить накопление ошибок в длинных последовательностях.
Последняя проблема особенно существенна для автономных машин. Если генератор немного ошибся в положении объекта, следующий кадр строится уже с учётом неправильной картины. При длительной симуляции отклонения могут накапливаться и искажать дальнейшие события. NVIDIA рассчитывает уменьшить подобные ошибки за счёт специальной процедуры обучения, однако компания признаёт, что достоверность виртуальных сценариев и пригодность моделей для оценки реальных алгоритмов ещё требуют проверки.
Веса всех четырёх моделей доступны на Hugging Face по лицензии OpenMDW 1.1, допускающей коммерческое и некоммерческое использование при соблюдении её условий. NVIDIA также опубликовала инструменты для запуска, дообучения и адаптации моделей к другим датчикам и роботизированным платформам. Для работы необходимы Linux, графические ускорители NVIDIA и соответствующее программное окружение. Например, конфигурацию Sim-Bimanual проверяли на GB200, но производитель не называет такой ускоритель обязательным минимумом.
Новые модели развивают семейство Cosmos 3, представленное 31 мая 2026 года. Базовая платформа объединяет обработку текста, изображений, видео, звуков и управляющих действий. NVIDIA предлагает использовать её для робототехники, автономного транспорта и промышленной автоматизации. Специализированные варианты показывают, как общую модель можно приспособить к конкретному оборудованию без разработки всей системы генерации с нуля.
Практическая ценность подхода зависит от того, насколько точно виртуальная среда воспроизводит реальные последствия действий. Правдоподобное видео само по себе не доказывает корректность физической симуляции. Для испытаний роботов и автомобилей разработчикам потребуется сравнивать результаты с измерениями настоящих датчиков и проверять поведение алгоритмов на независимых сценариях. Пока NVIDIA предлагает открытые инструменты для подобных экспериментов, а не подтверждённую замену натурным испытаниям.