Глаза из кремния и голос GPT-4 — умный робопёс вслух проведет незрячего по маршруту и опишет каждую преграду

В Бингемтонском университете показали новую версию роботизированной собаки–поводыря, которая не просто ведет человека по маршруту, а разговаривает с ним по дороге. Система использует большие языковые модели и голосовое взаимодействие, чтобы объяснять путь, предупреждать о препятствиях и отвечать на команды пользователя. Идея в том, чтобы превратить навигацию из набора механических сигналов в более понятный и живой диалог.

Разработка выросла из более ранних экспериментов, где робот–собака реагировал в основном на физические сигналы вроде натяжения поводка. Теперь же пользователь может голосом сообщить, куда хочет попасть, а робот в ответ предложит варианты маршрута, объяснит дорогу и будет сопровождать человека по ходу движения словесными подсказками.

Авторы работы делают ставку сразу на две функции. Первая отвечает за объяснение маршрута до начала движения. Перед выходом система рассказывает, какими путями можно добраться до цели и сколько времени примерно займет дорога. Вторая работает уже в процессе навигации. Робот комментирует обстановку вокруг в реальном времени, описывает коридоры, изменения пространства и предупреждает о препятствиях. Для незрячих и слабовидящих такая поддержка особенно важна, потому что без зрения понимание сцены и окружающей обстановки заметно ограничено.

По сути разработчики пытаются дать роботу то, чего не хватает обычной биологической собаке–поводырю. Животное может хорошо вести хозяина и понимать ограниченный набор команд, но не объясняет, почему выбирает тот или иной путь, что находится вокруг и сколько еще осталось идти. Роботизированная система, дополненная GPT–4 и голосовым управлением, получает куда более сильные языковые возможности.

Чтобы проверить, как такой формат работает на практике, исследователи пригласили семь участников с юридически подтвержденной слепотой. Им предложили пройти по крупному офисному помещению внутри здания. Сначала робот спрашивал, куда именно нужно попасть, затем озвучивал доступные маршруты. После выбора система вела человека шаг за шагом, по дороге сообщая, что происходит вокруг: например, описывала коридоры и предупреждала о помехах, пока пользователь не доходил до нужной точки.

После испытаний участников попросили оценить систему с точки зрения удобства и пользы. Лучше всего, по их реакции, сработал комбинированный вариант, где человек сначала получает объяснение маршрута, а потом еще и комментарии по ходу движения.

Следующий этап разработчики связывают с ростом автономности и выходом за пределы помещений. Сейчас система тестировалась в закрытой офисной среде, но в будущем команду интересуют более сложные пространства и более длинные маршруты. Речь идет о том, чтобы довести технологию до практического инструмента повседневной помощи, который сможет поддерживать мобильность и при этом нормально общаться с человеком.

Работу представили на конференции AAAI по искусственному интеллекту. По реакции участников тестов исследователи увидели не просто любопытство к необычному роботу, а вполне явный интерес к тому, чтобы подобная техника действительно дошла до реальной жизни.