Камере больше не обязательно отправлять каждый зарегистрированный фотон внешнему процессору, прежде чем извлечь из сигнала полезную информацию. Британская Singular Photonics представила сенсор Litavis, который считает фотоны, определяет время их прихода и строит временную статистику непосредственно внутри матрицы. Компания называет разработку первым SPAD-сенсором, способным одновременно объединить съёмку, точное измерение времени, построение гистограмм и фотонную статистику на одном кристалле.
SPAD, или однофотонный лавинный диод, работает не так, как обычный датчик камеры. Традиционный CMOS-пиксель накапливает электрический заряд под действием света, после чего электроника считывает полученное значение. В SPAD попадание даже одного фотона может запустить лавинное умножение носителей заряда и сформировать отчётливый электрический импульс. Камера фактически получает последовательность отдельных событий и может измерять не только количество света, но и момент прихода каждого зарегистрированного фотона.
Сами SPAD-сенсоры далеко не новы. Подобные детекторы уже работают в системах измерения расстояния, лидарах, научных приборах и камерах для съёмки при крайне слабом освещении. Разработчики Litavis перенесли акцент с одной чувствительности на обработку данных: цифровая логика располагается непосредственно рядом с фотодетекторами и начинает работать там же, где возникает сигнал.
Подобная архитектура решает проблему, которая становится особенно заметной при работе с большими потоками фотонных событий. Если сенсор только фиксирует события, всю последовательность приходится выводить с матрицы и передавать отдельной электронике для анализа. Singular Photonics утверждает, что обработка внутри кристалла сокращает объём сырых данных, снижает задержку и уменьшает нагрузку на внешние вычислительные компоненты.
Litavis построен по трёхмерной многослойной схеме с обратной засветкой и содержит матрицу 256 × 256 SPAD-пикселей. Полное разрешение используется для непрерывного подсчёта фотонов, а для точных временных измерений группы четыре на четыре детектора объединяются в 64 × 64 макропикселя. Временное разрешение достигает примерно 37 пикосекунд, то есть 37 триллионных долей секунды.
Согласно характеристикам Litavis, эффективность регистрации фотонов достигает 47% на длине волны 785 нм, а мёртвое время одного детектора составляет 4,3 наносекунды. Микролинзы обеспечивают 100-процентное заполнение чувствительной площади. Сам кристалл занимает 3,5 × 3,5 мм.
Важная особенность Litavis связана с обработкой нескольких событий в одном измерительном цикле. Сенсор может распределять зарегистрированные фотоны по временным интервалам и строить гистограммы прямо внутри пикселей. Подобная статистика позволяет исследовать процессы, где одной яркости недостаточно: два участка изображения могут испускать одинаковое количество света, но отличаться временем появления или затухания сигнала.
Разработчики предусмотрели программное переключение режимов без создания нового аппаратного варианта сенсора. Litavis поддерживает обычный и расширенный подсчёт фотонов, временные окна, поиск совпадающих событий, измерение временных меток и времякоррелированный подсчёт одиночных фотонов. Один и тот же кристалл можно перенастраивать под разные измерительные задачи.
Подход вырос из многолетних исследований Университета Эдинбурга. Singular Photonics вышла из лаборатории профессора Роберта Хендерсона, занимавшегося CMOS-версиями SPAD-сенсоров ещё в середине 2000-х. Разработанные на основе подобных принципов датчики времени пролёта позднее добрались до смартфонов, где используются для помощи автофокусу. Новое поколение переносит на сенсор уже не только регистрацию и измерение времени, но и более сложную обработку результата.
Litavis рассчитан прежде всего не на обычную фотосъёмку. Среди целевых областей разработчики называют лидары, робототехнику, машинное зрение, флуоресцентную микроскопию, рамановскую спектроскопию, квантовую оптику и системы, работающие при очень слабом освещении. В подобных задачах важна не только картинка, но и информация о том, когда пришёл фотон и как меняется поток света во времени.
Singular Photonics уже получила предварительные заказы на новый сенсор от компаний и исследовательских организаций. Главная новизна Litavis при этом заключается не в способности увидеть одиночный фотон: подобные детекторы существуют давно. Разработка показывает следующий этап развития технологии, при котором пиксель перестаёт быть только точкой регистрации света и превращается в элемент вычислительной системы, способный обработать событие практически в месте его возникновения.