Звук нажатий клавиш клавиатуры может выдать куда больше, чем вам кажется, и новая атака показала, что нескольких минут записи может хватить для восстановления набранного текста даже без доступа к компьютеру. Специалисты из Университета Тохоку, Киотского университета и Института науки и технологий Нары разработали метод, который распознаёт нажатия клавиш с помощью анализа звука и языковых моделей.
Предыдущие акустические атаки обычно требовали заранее записать звуки конкретной клавиатуры и сопоставить каждый звук с символом. Новый подход обходится без такой подготовки. Система сама выделяет отдельные нажатия из аудиозаписи, объединяет похожие звуки, а затем подбирает наиболее вероятную последовательность символов с учётом контекста.
Для расшифровки специалисты использовали языковую модель на основе архитектуры Transformer и отдельную большую языковую модель. Механизм несколько раз пересматривает полученный текст и исправляет ошибки, сравнивая отдельные звуки с окружающими словами. Благодаря этому атака не полагается только на различия между клавишами.
В лабораторном тесте смартфон лежал рядом с MacBook Pro 2019 года. После записи 100–150 нажатий система восстановила более 99% текста. Метод также работал с ноутбуками Dell, HP, Lenovo и Apple, хотя для некоторых моделей требовалось больше данных.
Более сложные испытания показали точность свыше 90% после 150–250 нажатий. Специалисты записывали вибрации контактным микрофоном с расстояния около трёх метров по поверхности стола, а также через стену. Речь идёт о тестовой демонстрации в контролируемых условиях, а не о подтверждённых атаках на пользователей.
Метод проверили и во время звонков через Google Meet, Microsoft Teams и Zoom. При отключённом подавлении шума звуки клавиатуры иногда сохранялись в аудиопотоке и позволяли восстановить текст после нескольких сотен нажатий. Результат зависел от модели ноутбука и сервиса связи.
Для снижения риска специалисты советуют не вводить пароли и другие чувствительные данные при включённом микрофоне, активировать подавление шума и учитывать находящиеся рядом смартфоны, микрофоны и другие записывающие устройства.