Гуманоидного робота Unitree G1 научили выполнять удары, прыжки и акробатические элементы по обычным видеозаписям тренировок людей. Авторы KungfuAthleteBot показали, что робот переносит движения из видео в реальный мир, выдерживает толчки и после падения возвращается на ноги примерно за 0,7 секунды.
Для обучения исследователи собрали 197 записей тренировок мастеров боевых искусств и разделили материал на 1726 фрагментов. В набор вошли удары, стойки, прыжки, сальто и другие движения. Траектории переносили на Unitree G1 с 29 управляемыми степенями свободы.
Простого копирования поз оказалось мало. Видео показывает, куда движется тело человека, но не содержит сведений о силах и моментах в суставах. Ошибки реконструкции тоже мешали обучению: ноги могли уходить под поверхность, суставы дрожали, а тело в прыжке двигалось вопреки физике. Авторы исправляли проблемные фрагменты и рассчитывали полёт по баллистической траектории.
Затем робот учился управлять приводами через обучение с подкреплением. Алгоритм чаще начинал тренировку с физически выполнимых положений и постепенно подбирал движения, необходимые для прыжков и вращений, вместо буквального повторения ошибочной траектории из видео.
Отдельный режим подъёма после падения разработчики не создавали. Одна модель училась повторять движение, выдерживать внешние толчки и вставать из разных положений. По результатам испытаний, среднее время восстановления составило 0,692 секунды. Авторы называют результат самым быстрым среди опубликованных систем, где одна модель одновременно отвечает за движение и подъём после падения.
Метод пока требует участия человека: неоднозначные участки видео приходится размечать вручную. Работа опубликована как препринт и пока не прошла научное рецензирование.
