Исследователи создали прототип умных часов, которые распознают движения пальцев по электрическим сигналам внутри запястья. Устройство EITWatch отслеживает работу мышц и сухожилий без камер и дополнительных датчиков на пальцах. Во время лабораторных испытаний система определяла жесты с точностью до 92,5%, открывая возможность управлять электроникой почти незаметными движениями руки.
Разработчики разместили на задней стороне часов восемь небольших электродов, которые соприкасаются с кожей и пропускают через ткани слабый переменный ток. Мышцы, жир и кости проводят электричество по-разному. Когда человек сгибает пальцы, сжимает кулак или показывает большой палец вверх, мышцы и сухожилия смещаются, меняя прохождение тока через запястье. Электроды улавливают изменения, а алгоритм определяет, какой жест выполнил пользователь.
Метод называется электрической импедансной томографией. С его помощью можно получать информацию о внутренних тканях, измеряя их электрическое сопротивление с поверхности кожи. Раньше для распознавания движений руки исследователям приходилось использовать специальные браслеты с электродами, охватывающими запястье. Авторы EITWatch смогли разместить все восемь электродов по окружности диаметром 31 мм, достаточно компактной для задней крышки обычных часов.
Чтобы считывать движения мышц на разной глубине, система поочерёдно меняет пары электродов, между которыми проходит ток. Чем дальше электроды расположены друг от друга, тем глубже ток проникает в ткани. По расчётам разработчиков, новая схема позволяет получать информацию с глубины примерно от 6 до 15 мм. Устройство выполняет 35 измерений за один цикл и повторяет его 48 раз в секунду. Встроенный микроконтроллер обрабатывает сигналы непосредственно на часах.
В испытаниях участвовали 12 добровольцев. Исследователи научили EITWatch различать шесть положений кисти и пять небольших движений пальцев. Когда участники выполняли жесты в течение одной сессии, точность достигала 92,5% для основных положений руки и 91,5% для мелких движений. В будущем разработчики рассчитывают превратить жесты в команды: например, поднятый большой палец сможет отправлять сообщение, а вытянутый указательный палец запускать нужную функцию.
Однако повторное надевание часов заметно ухудшило результаты. Через два дня участники снова закрепили устройство на запястье, и точность снизилась до 73,2% и 70,4% соответственно. Когда алгоритм проверили на человеке, чьи движения не использовали при обучении, показатели упали до 63,1% и 55,3%. Пока система лучше всего работает после индивидуальной настройки, поскольку расположение электродов и особенности строения запястья влияют на электрические сигналы.
EITWatch пока остаётся лабораторным прототипом. Разработчикам предстоит уменьшить электронные компоненты, чтобы полностью разместить их внутри корпуса часов, и сократить расход энергии. По предварительным расчётам, аккумулятора ёмкостью 300 мА·ч хватит примерно на 8,6 часа непрерывного распознавания жестов. Для повседневного использования автономность придётся увеличить.
Параллельно та же команда разработала систему TransfHAR, которая учит часы узнавать новые действия по движениям запястья. Специальные электроды ей не нужны: достаточно обычных акселерометра и гироскопа, измеряющих ускорение и повороты руки. Сначала исследователи обучили алгоритм на более чем 2700 часах записей повседневной активности, включая ходьбу и физические упражнения. После подготовки пользователь может показать часам новое движение несколько раз и присвоить ему название.
Например, TransfHAR способна научиться отличать помешивание напитка ложкой от других движений рукой или распознавать упражнения, которых раньше не встречала. В эксперименте с десятью добровольцами система определяла семь новых действий со средней сбалансированной точностью 86,7% после пяти примеров каждого движения. Когда участники записывали по минуте демонстраций, показатель вырос до 90,4%.
Разработчики рассчитывают, что обе технологии пригодятся далеко за пределами обычного управления часами. Отслеживание движений мышц может помочь людям управлять бионическими протезами, а распознавание повседневных действий позволит контролировать выполнение реабилитационных упражнений или следить за активностью пожилых людей без камер в помещении. Пока исследователи подтвердили возможности систем только в ограниченных испытаниях. Следующим шагом станет проверка точности в повседневной жизни, где положение часов на руке постоянно меняется, а движения человека гораздо разнообразнее лабораторных жестов.