Вводить пароли и подписывать документы в кафе теперь опасно. Ученые нашли новый способ утечки данных

Ученые из Китая показали, что обычные емкостные сенсорные экраны смартфонов могут «подсматривать» рукописный ввод через электромагнитные излучения: достаточно поднести незаметный датчик к телефону, и по сигналу можно восстановить траекторию движений пальца так, что написанное становится узнаваемым. В работе описан бесконтактный сценарий атаки TESLA, который в экспериментах дал около 77% точности распознавания символов и близость траекторий к оригиналу на уровне Jaccard ~0,74.

Суть проблемы в том, что при рукописном вводе экран не просто «чувствует» касание, но и излучает электромагнитный «фон» с особенностями, зависящими от места касания и движения. В модели угроз злоумышленнику не нужно ни видеть экран, ни ставить вредоносное ПО: он может заранее спрятать EM-щуп рядом со смартфоном — например, под столешницей или в сумке неподалёку — и пассивно снимать сигнал во время подписи, заметки или подтверждения платежа.

Ключевое допущение атаки — близость. В статье прямо говорится о примере «в пределах 15 см»: при таком расстоянии датчик улавливает излучения, возникающие во время касаний, и дальше дело за обработкой данных. Интересно, что авторы подчёркивают практичность: вместо сложной лабораторной установки или специализированного радара достаточно коммерческого оборудования примерно «до $100».

Почему появляется «география» в электромагнитном следе? Исследователи связывают это с тем, как большинство сенсорных панелей опрашивают электроды: сигнал идёт последовательно, с предсказуемыми задержками, а прикосновение человека меняет параметры цепи и усиливает излучение. В измерениях на iPhone X авторы видят, что форма сигнала отличается в зависимости от координаты касания, и что частота повторяющегося «цикла» совпадает с частотой сенсорной дискретизации (например, 120 Гц у iPhone X), а не с частотой обновления экрана — то есть источник лежит на уровне работы тач-контроллера, а не «отрисовки» интерфейса.

Дальше начинается машинное обучение. TESLA описан как конвейер: сбор электромагнитного сигнала, приведение его к единому виду и восстановление траектории с помощью модели на базе трансформера, которая отображает поток EM-данных в двумерный путь движения пальца (вплоть до работы «в реальном времени» по описанию авторов).

В оценке участвовали 10 человек; тестировали несколько популярных моделей смартфонов, включая iPhone X, Xiaomi 10 Pro, Samsung S10 и Huawei Mate 30 Pro, причём не только в условно «тихой» комнате, но и в публичной обстановке вроде библиотеки.

На уровне «статического касания» модель довольно точно угадывала, в какой зоне экрана было нажатие: авторы делят экран на сетку 32×15 и получают 94,08% точности по зонам. Самое важное — рукописные траектории: для отдельных символов распознавание восстановленного ввода через OCR (Tesseract) дало в среднем 76,77%, а схожесть траекторий по Jaccard составила 0,7374; для слов (метрика top-5) — 58,34% и Jaccard 0,6661.

Естественно, расстояние и шум среды бьют по качеству, но не убивают атаку полностью. Авторы показывают деградацию от 5 до 25 см и отмечают, что даже на 15 см распознавание символов остаётся на уровне около 73%. А в «публичном» сценарии (датчик под сумкой на расстоянии 15 см) точность распознавания символов составила 72,49% при Jaccard 0,5946, то есть в шумной обстановке сигнал всё равно оказывается полезным.

Практический вывод звучит неприятно: если пользователь пишет на экране что-то чувствительное — от личных заметок до подписи — утечка может происходить вообще без взлома телефона, просто через физический побочный канал. Авторы прямо разделяют сценарии на «кражу содержимого» и «биометрическое восстановление траектории» (что наводит на мысль о рисках вокруг подписей) и завершают работу призывом к разработке защитных мер, потому что, по их данным, проблема воспроизводится на разных устройствах и выглядит системной.