Разработчик робототехнического ИИ Skild AI научил модель S1 осваивать незнакомую многоэтапную задачу по одному видеоролику, без дополнительного обучения под конкретную операцию. Технология уже добралась до промышленного производства: Skild AI, Nvidia и Foxconn используют роботизированные манипуляторы семейства Skild Brain при сборке систем Nvidia Blackwell.
Вместо программирования каждого движения оператор показывает S1, как выполнить работу, а модель переводит увиденное в собственные действия. Разработчики называют такой подход контекстным обучением: пример служит для модели инструкцией непосредственно во время выполнения задачи, поэтому веса нейросети менять не требуется.
Skild AI проверила S1 на операциях, которых не было в обучающем наборе. Робот пересаживал растение, готовил блины, заваривал кофе через фильтр и собирал комплект деталей. Некоторые последовательности занимали до десяти минут и включали десятки отдельных действий. В эксперименте с пересадкой растения между записью демонстрации и началом самостоятельной работы робота прошло 11 минут.
Модель не пытается буквально повторять каждое движение человека. По данным Skild AI, S1 определяет цель демонстрации и подстраивает действия под текущую обстановку. Во время испытаний исследователи передвигали предметы, меняли освещение и заменяли одни объекты другими с похожим назначением. Робот продолжал работу, а после неудачных попыток мог повторить действие. В одном тесте вместо показанной в ролике лейки рядом оставили чашку с водой, и система использовала чашку.
Главное преимущество подхода проявляется при частой смене производственных операций. Обычному промышленному роботу новая задача нередко требует отдельного набора примеров, программирования или дообучения. Skild AI утверждает, что одна видеодемонстрация для S1 в испытаниях давала результат, сопоставимый примерно с 380 демонстрациями для модели, которую дополнительно обучали под новую задачу. Сбор такого объёма записей с ручным управлением роботом занимал от 50 до 100 часов.
На производстве Skild AI применяет ту же идею универсального управления роботами через платформу Skild Brain. Nvidia описывает работу двухманипуляторной системы, которая устанавливает токопроводящую шину и ограничительный блок, затем закручивает 16 винтов. Роботу приходится точно работать с деталями, контролировать контакт, помнить последовательность операций и корректировать движения, если положение объектов меняется.
Роботизированная система участвует в сборке оборудования Nvidia Blackwell на производственной площадке Foxconn в Хьюстоне. При этом опубликованные материалы не утверждают, что именно заводскую операцию робот освоил после единственного видео: возможность обучения по одной демонстрации относится к модели S1, а промышленное внедрение описывается шире как применение платформы Skild Brain.
Для обучения Skild AI объединяет записи действий людей, дистанционное управление роботами, реальные данные и компьютерное моделирование. Nvidia предоставляет инфраструктуру и инструменты Isaac Sim, Isaac Lab, Cosmos и Omniverse, которые позволяют создавать виртуальные сцены и синтетические обучающие примеры. Такой подход решает одну из главных проблем современной робототехники: реальные машины собирают опыт гораздо медленнее и дороже, чем языковые модели получают текстовые данные из цифровых источников.
Skild AI уже использует свои системы не только на экспериментальных стендах. По данным компании, спустя десять месяцев после первого коммерческого внедрения у неё насчитывалось более 60 платящих клиентов в логистике, производстве, доставке, инспекции объектов, центрах обработки данных и других областях. Следующая задача разработчиков состоит не просто в том, чтобы научить робота повторять увиденное, а в том, чтобы одна модель могла переносить накопленные навыки между разными типами машин и осваивать новые операции без длительной перенастройки каждой производственной линии.
