Машины научились чувствовать: технология, стирающая грань между человеком и ИИ

Специалисты Университета науки и технологий UNIST разработали технологию, которая в реальном времени способна распознавать человеческие эмоции. Открытие обещает кардинальные изменения в разнообразных сферах, особенно в индустрии носимых устройств нового поколения, которые будут оказывать услуги, основываясь на эмоциях пользователя.

Долгое время точное извлечение эмоциональной информации представляло собой сложную задачу из-за абстрактного и неоднозначного характера человеческих реакций, таких как эмоции, настроения и чувства. Новая мультимодальная система распознавания эмоций человека сочетает в себе данные вербальных и невербальных выражений, что позволяет эффективно использовать комплексную эмоциональную информацию.

Основой системы является интерфейс PSiFI (personalized skin-integrated facial interface), который является автономным, простым в использовании, растягиваемым и прозрачным. PSiFI оснащен уникальным трибоэлектрическим двунаправленным датчиком деформации и вибрации, что позволяет одновременно считывать и интегрировать данные о вербальных и невербальных выражениях. Благодаря интеграции с цепью обработки данных для беспроводной передачи информации, система обеспечивает мгновенное распознавание эмоций.

Интерфейс PSiFI

Технология использует алгоритмы машинного обучения для точного и мгновенного распознавания человеческих эмоций, даже если лицо человека закрыто маской. Интеграция обнаружения деформации мышц лица и вибраций голосовых связок позволяет системе распознавать эмоции в реальном времени.

Основываясь на явлении «зарядки трением» (трибоэлектрический эффект), система самогенерируется и не требует внешних источников питания или сложного измерительного оборудования для распознавания данных.

Авторы изобретения подчеркивают, что систему PSiFI можно адаптировать под индивидуальные особенности каждого пользователя. Для этого команда использовала технологию полуотвердевания для изготовления прозрачного проводника для электродов трения зарядки. Кроме того, с использованием техники многоточечной съемки была создана персонализированная маска, сочетающая гибкость, эластичность и прозрачность.

Система уже нашла применение в виртуальной реальности для услуг цифрового консьержа в различных сценариях, включая умные дома, частные кинотеатры и офисы. Способность системы идентифицировать индивидуальные эмоции в разных ситуациях позволяет настраивать персонализированные рекомендации по музыке, фильмам и книгам.

Команда продемонстрировала высокую эффективность системы в экспериментах по распознаванию эмоций в реальном времени, собрав многоаспектные данные о деформации мышц лица и вибрациях голосовых связок. Такой подход не только улучшает понимание человеческих эмоций, но и открывает новые возможности для развития персонализированных технологий и услуг, основанных на эмоциональном взаимодействии.