Роботы больше не «руки-крюки». Инженеры NYU решили главную проблему машин

Представьте робота, который не просто выполняет заранее прописанные команды, а сам планирует свои действия, подстраивается под ситуацию по ходу дела и учится на ошибках почти как человек. Команда инженеров из Школы инженерии NYU Tandon представила алгоритм BrainBody-LLM, который приближает такую картину к реальности. Он должен помочь роботам лучше справляться со сложными задачами в изменчивой среде, где стандартные сценарии быстро перестают работать.

Обычные промышленные роботы и даже современные планировщики на базе больших языковых моделей часто "думают" в отрыве от реальных возможностей железа: модель генерирует план, который выглядит логично, но робот физически не может его повторить или сделать это достаточно точно. BrainBody-LLM пытается решить эту проблему за счет более тесной "связки" между планированием и управлением движением.

Архитектура системы напоминает взаимодействие мозга и тела у человека. Компонент Brain LLM отвечает за высокоуровневое планирование: разбивает сложную задачу на последовательность понятных подзадач вроде "подойти к столу", "взять чашку", "поставить на полку". Компонент Body LLM получает эти шаги и преобразует их в конкретные команды для приводов и суставов робота, то есть в практическую "механику" движения. Ключевой элемент BrainBody-LLM - замкнутый контур обратной связи: робот постоянно отслеживает свои действия и состояние окружающей среды, сравнивает ожидаемый результат с фактическим и передает информацию об ошибках обратно в языковые модели. По словам первого автора работы, аспиранта NYU Tandon Винита Бхата, именно такая динамическая связка между компонентами помогает устойчиво решать сложные и нестандартные задачи.

Сначала исследователи проверили подход в симуляторе VirtualHome, где виртуальный робот выполнял бытовые задания в цифровом "доме". Затем алгоритм перенесли на реальное устройство - манипулятор Franka Research 3. В компьютерных экспериментах BrainBody-LLM увеличил долю успешно выполненных задач примерно на 17 процентов по сравнению с предыдущими методами. На физическом роботе система тоже справилась с большей частью сценариев, показав, что алгоритм способен работать не только в идеальных виртуальных условиях, но и с реальными ограничениями железа и среды.

Авторы считают, что со временем подобные алгоритмы могут существенно изменить роль роботов в быту, медицине, промышленности и других областях, где машинам приходится выполнять сложные действия рядом с людьми и в непредсказуемой обстановке. Подход можно расширить, добавив к нему возможности компьютерного зрения в 3D, глубинные датчики и более детальный контроль суставов, чтобы движения роботов стали еще более плавными и естественными. При этом BrainBody-LLM пока далек от массового внедрения: его тестировали на ограниченном наборе команд и в контролируемых сценариях, поэтому в открытом, быстро меняющемся мире такая система может столкнуться с неожиданными сбоями. Исследователи подчеркивают, что дальнейшая работа будет связана с использованием более разнообразных сенсоров для обратной связи и улучшением "приземленности" планирования, чтобы в перспективе сделать такие решения достаточно безопасными и надежными для реальных приложений. Подробное описание алгоритма и результаты экспериментов опубликованы в журнале Advanced Robotics Research.