Киборги на подходе: новейшие технологии Meta* позволяют роботам с ИИ управлять своими действиями без людей

Команда исследователей ИИ из Meta* объявила о ряде важных достижений в области адаптивной координации навыков и имитации зрительной коры, что позволит роботам с ИИ самостоятельно действовать в реальном мире. Эти результаты представляют собой значительный прогресс в создании всеобъемлющего "воплощенного ИИ", способного взаимодействовать с окружающей средой без человеческого вмешательства.

Зрительная кора - это часть мозга, которая обеспечивает возможность существам использовать зрение для выполнения действий. Таким образом, искусственная зрительная кора крайне важна для роботов, которым необходимо решать задачи, опираясь на то, что они видят перед собой. Искусственная зрительная кора VC-1 была обучена на основе набора данных Ego4D, содержащего тысячи часов видео с носимых камер участников исследования по всему миру, выполняющих обычные действия, такие как приготовление пищи, уборка, спортивные упражнения и рукоделие.

Однако зрительная кора - это только один из аспектов воплощенного ИИ. Чтобы робот мог полностью самостоятельно действовать в реальном мире, он должен уметь манипулировать объектами окружающей среды - подходить к объекту, поднимать его, перемещать в другое место и размещать объект - и делать все это, опираясь на то, что видит и слышит.

Для решения этой задачи специалисты по ИИ из Meta* совместно с исследователями из Технологического института Джорджии разработали новый подход ASC (Adaptive Skill Coordination - Адаптивная координация навыков), где обучение проходит в симуляциях, а затем эти навыки передаются реальным роботам. Meta* продемонстрировала эффективность ASC, сотрудничая с Boston Dynamics. ASC была интегрирована с роботом Spot, который обладает надежными способностями распознавания, навигации и манипуляции, хотя и требует значительного участия человека.

Целью исследователей было создать модель ИИ, которая смогла бы воспринимать окружающий мир с помощью датчиков, используя API Boston Dynamics. Вначале ASC обучали в симуляторе Habitat, используя наборы данных HM3D и ReplicaCAD, которые содержат 3D-модели более тысячи домов. Затем виртуального робота Spot обучили перемещаться по незнакомым домам, подбирать предметы, переносить их и размещать в нужном месте. После этого эти навыки были переданы реальным роботам Spot, которые автономно выполняли те же задачи, опираясь на полученное представление об интерьерах.

«Мы использовали две совершенно разные среды реального мира, где Spot выполнял задачи по перемещению различных объектов: полностью меблированную квартиру площадью 185 м² и университетскую лабораторию площадью 65 м², — отмечают исследователи. — ASC демонстрировала практически идеальную эффективность, успешно справившись с 59 из 60 эпизодов, преодолев аппаратные нестабильности, ошибки выбора и состязательные помехи, такие как движущиеся препятствия или заблокированные пути».

Исследователи Meta* сегодня опубликовали исходный код модели VC-1, предоставляя подробную информацию о масштабировании модели и объемах наборов данных. Следующей целью команды будет интеграция VC-1 с ASC для создания единой системы, которая приблизится к реализации истинного воплощенного ИИ.

_{*Добавлена в список общественных и религиозных объединений, в отношении которых вступило в законную силу судебное решение о ликвидации или запрещении деятельности, основанное на положениях Федерального закона от 25.07.2002 № 114-ФЗ "О противодействии экстремистской деятельности".}