Инженеры из Пекинского технологического института представили новый тип визуального микрофона , способного «слышать» звуки при помощи света — без использования классических акустических приёмников. Система отслеживает малейшие вибрации на поверхности объектов и восстанавливает речь или музыку, опираясь исключительно на оптику и вычисления . Здесь вовсе нет физического микрофона — только свет и алгоритмы.
В основе лежит метод однопиксельной визуализации. В отличие от прежних подходов, требовавших лазеров и высокоскоростных камер, эта система использует недорогие компоненты и обходится без сложной оптики. Принцип действия следующий: на объект направляется свет, а система улавливает незначительные колебания отражённого сигнала, вызванные звуковыми волнами. Эти едва заметные изменения преобразуются в аудиопоток с помощью алгоритмов на базе преобразования Фурье.
Разработчики продемонстрировали, что технология способна извлекать звук с самых разных поверхностей — от колышущихся листьев до карточек и пенопластовых стаканчиков, вибрирующих под музыку. Никаких специальных условий: ни светоотражающего покрытия, ни подготовленной сцены. Более того, запись велась при естественном освещении, что значительно расширяет спектр применений.
Как отмечает руководитель проекта Яо Сюй-Жи, система позволяет буквально «разговаривать через стекло» . Ей не нужен звуковой канал — достаточно, чтобы отражённый свет от вибрирующего объекта достигал сенсора. Это открывает возможности в условиях, где традиционные микрофоны не работают: за звукоизоляцией, сквозь перегородки, под завалами или в герметичных помещениях.
Главное достоинство — пассивный характер устройства: оно не излучает свет и не требует специального освещения. Такой подход позволяет встроить систему в компактные устройства: дроны , камеры наблюдения , смартфоны. При этом чувствительность остаётся высокой, а точность восстановления речи сопоставима с более сложными и дорогими оптическими установками, использовавшимися ранее.
Изобретение поднимает не только технические, но и этические вопросы . Чтобы восстановить речь, достаточно направить свет на объект, способный вибрировать, — и уже не нужно быть в том же помещении, что и говорящий. Это сразу вызывает в памяти эксперимент MIT 2014 года, где звук извлекали из видеозаписи движений пакета от чипсов. Тогда требовалось громоздкое оборудование. Теперь подобное стало действительно реализуемо в компактном формате.
Разработчики подчёркивают: цель — не скрытое наблюдение, а создание сенсорных систем, способных работать там, где другие методы бессильны. Одно из ключевых направлений — медицина. Световой микрофон можно применять для бесконтактного мониторинга дыхания, сердечного ритма и микродвижений пациента.
В дальнейших планах — повысить чувствительность сенсоров, протестировать систему в полевых условиях и изучить её потенциал в промышленности, спасательных миссиях и диагностике. Мир, в котором звук можно увидеть, а не услышать, становится всё более реальным.