Язык жестов теперь можно услышать благодаря умным очкам на Raspberry Pi

В эпоху стремительного технического прогресса удивительные инновационные разработки становятся обыденностью. Однако некоторые проекты выделяются своей гуманистической направленностью и стремлением облегчить общение между людьми. Энтузиаст под ником Нехил создал очки с использованием одноплатного компьютера Raspberry Pi, способные распознавать язык жестов и озвучивать его с помощью функции преобразования текста в речь.

Система использует искусственный интеллект и видеопоток с камеры для отслеживания и интерпретации жестов рук. Обученная нейросеть умеет распознавать отдельные буквы и тут же озвучивает их, позволяя окружающим понимать суть общения даже без знания языка жестов.

Для реализации проекта Нехил использовал открытую платформу VIAM, ориентированную на создание умных устройств с применением ИИ. Первоначально он планировал задействовать новейшую модель Raspberry Pi 5, однако затем принял решение использовать более компактную и энергоэффективную модель Pi Zero 2 W, вполне справляющуюся с поставленными задачами.

Камера V3 расположена спереди оправы очков, что позволяет ей захватывать изображения и видео перед пользователем. При условии, что собеседник находится в поле зрения камеры, система сможет «увидеть» и распознать его жесты. Сама оправа была спроектирована в Fusion 360 и напечатана на 3D-принтере специально для этого проекта.

В проекте Нехил использовал модель компьютерного зрения YOLOv8, обученную распознавать жесты, соответствующие отдельным буквам американского языка жестов (ASL). После распознавания буквы система озвучивает ее с помощью синтеза речи. Хотя платформа VIAM, на базе которой создано устройство, поддерживает работу с моделями TensorFlow Lite, в данном случае была выбрана более производительная модель YOLOv8 для более точного распознавания жестов.

Подробнее о проекте можно узнать на платформе Hackster, а также увидеть его в действии в видео на YouTube.