Человек + ИИ = идеальная команда? OpenChessRobot от TU Delft ищет ответ

На протяжении последних лет искусственный интеллект, обученный играть в различные игры с человеком, демонстрирует все более впечатляющие результаты. Разработчики видеоигр по всему миру активно внедряют подобные ИИ-системы, однако их применение преимущественно ограничено онлайн-играми на цифровых платформах. В то же время возможность прямого взаимодействия человека с игровым ИИ в реальном физическом мире остается в значительной степени неизведанной территорией.

Недавно исследователи из Делфтского технического университета (TU Delft) представили новую роботизированную систему с открытым исходным кодом, способную играть в шахматы с человеком в реальной среде. Этот робот, описанный в статье , может стать ценным ресурсом для исследований взаимодействия человека и робота.

«‎Последние достижения в области ИИ ускорили развитие универсальных дизайнов роботов, — пишут Ренчи Чжан, Йоост де Винтер и их коллеги. — Шахматы предоставляют стандартизированную среду, позволяющую оценить влияние поведения робота на поведение человека. В статье представлен робот для игры в шахматы с открытым исходным кодом, предназначенный для исследований взаимодействия человека и робота (HRI), с акцентом на вербальные и невербальные взаимодействия»‎.

Компоненты и возможности робота

Разработанная роботизированная платформа включает как аппаратные, так и программные компоненты. Аппаратная часть робота состоит из роботизированной руки Franka Emika Panda с семью степенями свободы, роботизированной руки Franka, кастомизированного 3D-печатного захвата, стереокамеры ZED2 StereoLabs, клавиатуры, внешнего микрофона и динамика, подключенных к компьютеру, NVIDIA Jetson Nano и ПК.

Программные компоненты робота включают модуль восприятия, анализа и оценки, планирования и выполнения движений, а также модуль взаимодействия. Модуль восприятия анализирует изображения шахматной доски, захваченные камерой ZED2, и переводит их в текстовые описания.

Затем модуль анализа и оценки передает эти текстовые описания шахматному движку, чтобы определить предполагаемые ходы и их соответствующие оценки. Модуль планирования и выполнения движений использует предполагаемый ход для планирования и выполнения шахматных ходов робота.

Модуль взаимодействия позволяет роботу общаться с игроками, против которых он соревнуется. Для генерации ответов на вопросы пользователей этот модуль использует API платформы ChatGPT от OpenAI.

«‎OpenChessRobot распознает шахматные фигуры с помощью компьютерного зрения, выполняет ходы и взаимодействует с человеком, используя голос и роботизированные жесты, — отмечают исследователи. — В статье подробно описана разработка программного обеспечения, представлены количественные оценки эффективности робота и руководство по его воспроизводимости»‎.

Перспективы использования

Чжан, де Винтер и их коллеги оценили свою роботизированную платформу в серии начальных тестов, проверяя её способность соревноваться с людьми в шахматах. Хотя они пока не исследовали восприятие пользователей, взаимодействовавших с роботом, было установлено, что робот эффективно планирует свои будущие ходы и перемещает фигуры в нужные места на доске.

Исходный код робота и наборы данных, использованные для обучения его классификаторов, имеют открытый доступ и размещены на GitHub. Таким образом, робот может быть создан и в других институтах для проведения дальнейших исследований, посвящённых взаимодействию человека и робота.

«Создание OpenChessRobot стало лишь первым шагом в наших исследованиях взаимодействия людей с роботами, наделенными искусственным интеллектом, - делятся планами Чжан, де Винтер и их коллеги. - В дальнейшем мы намерены использовать этот экспериментальный стенд для изучения того, как выражение эмоций и более естественное вербальное общение со стороны робота влияют на человека во время их совместной работы.

Одним из интересных направлений является расширение функционала OpenChessRobot за рамки шахматных приложений. Модифицировав его, мы сможем исследовать возможности предоставления роботом физической помощи человеку в самых разных бытовых ситуациях. Это позволит лучше понять потенциал интеграции ИИ-роботов в повседневную жизнь людей и выявить области, где такое содружество будет наиболее эффективным и востребованным».

Ученые видят большие перспективы в развитии естественного взаимодействия между людьми и роботами с элементами искусственного интеллекта. OpenChessRobot позиционируется как универсальная платформа для многочисленных экспериментов в этом перспективном научном направлении.