Новый метод позволяет с помощью микрофона определять контент на экране

Группа израильских и американских исследователей разработала атаку, позволяющую с помощью звуковых волн в режиме реального времени определять, что отображено на экране компьютера пользователя. Техника, получившая название Synesthesia, потенциально может использоваться для сбора информации, наблюдения за активностью пользователя в браузере и пр.

Анализируя звуковые колебания, исходящие от различных ЖК-дисплеев, исследователи обнаружили связь между издаваемым звуком и изображением на экране. Как оказалось, каждый отображаемый контент имеет свою «звуковую подпись».

Источником издаваемого дисплеем звука является источник питания, издающий высокочастотные звуковые колебания во время модуляции тока. Звук отличается в зависимости от требований к питанию для рендеринга визуального контента. Он едва различим для человеческого уха, но для микрофонов (например, встроенных в Amazon Alexa или Google Home) не составит труда его уловить и записать.

Поработав с простыми визуальными моделями и проанализировав спектрограмму записанного микрофонами аудио, исследователи создали отпечатки, которые могут использоваться для распознавания контента с дисплеев.

Подробнее ознакомиться с исследованием можно здесь .