Прорыв в мире слуховых аппаратов: теперь они видят, откуда идет звук

Команда ученых из Национального университета Ченг Кунг во главе с профессором И-Чуном Ду создала прототип слухового аппарата, который помогает людям с нарушениями слуха лучше определять, откуда исходит звук. Устройство объединяет в себе несколько передовых технологий, включая компьютерное зрение, специализированные алгоритмы и микрофонные решетки.

Как отметил профессор Ду, определение направления звука критически важно для качества жизни и безопасности людей с проблемами слуха. «Мы надеемся внедрить этот модуль в повседневную жизнь пожилых пациентов с нарушениями слуха, что еще больше улучшит качество жизни людей с легкими и умеренными проблемами со слухом», - говорит он.

В состав устройства входят инновационный двухслойный микрофонный массив, размещенный на ушах, а также носимое на шее устройство с видеокамерой и технологией компьютерного зрения. Алгоритмы помогают камере распознавать лица в поле зрения, чтобы определить, откуда исходит звук. Когда динамик находится вне зоны видимости камеры, для определения местоположения звука используется другой алгоритм, основанный на анализе угла прибытия звуковой волны и временных задержек.

Далее специальный алгоритм микширования корректирует звук, поступающий в наушники, для более точного определения направления звука и регулирует громкость для создания эффекта погружения.

В ходе тестирования на 30 пациентах с нарушениями слуха новое устройство показало отличные результаты. Участники смогли правильно определить источник звука с помощью функции компьютерного зрения с точностью 94% и выше на расстояниях, типичных для разговора (до 160 см). Без использования камеры, только на основе данных от микрофонов, точность также превышала 90%.

Кроме того, специальный алгоритм микширования эффективно корректирует громкость левого и правого звуковых каналов в наушниках, что позволяет пользователям лучше определить направление источника звука. В отдельном исследовании на группе пожилых участников с применением комбинированной технологии результаты по клиническому тесту на определение направления звука составили 100% успешных попыток.

При этом профессор Ду отмечает, что угол обзора используемой видеокамеры составляет лишь 75 градусов и не может сравниться с человеческим зрением (120 градусов). В будущем планируется применение широкоугольных объективов или дополнительных камер для расширения зоны распознавания и повышения пригодности устройства для повседневного использования.

Команда Ду заинтересована в дальнейшем развитии технологии, в частности, в интеграции функций распознавания лиц и голосов для автоматического определения собеседника в поле зрения камеры. Это позволит сделать общение для пользователей еще более комфортным. Команда уже ведет переговоры с потенциальными партнерами о коммерциализации разработки.