Инженеры из Гонконга создали искусственный глаз, который различает цвета, видит пространство под углом более 160° и самостоятельно замечает движение. Во время испытаний новая система распознавала движения с точностью 98,6%, а для передачи необходимой информации ей требовалось более чем на 99,95% меньше пропускной способности канала, чем обычной камере.
Главный секрет разработки скрывается в способе обработки изображения. Обычная камера непрерывно снимает кадры и отправляет их процессору, который сравнивает картинки и ищет движущиеся объекты. Искусственный глаз замечает изменения прямо в светочувствительном датчике, поэтому передавать всю последовательность изображений уже не требуется. Система сразу выделяет информацию о движении, избавляя процессор от лишней работы.
Сам глаз тоже устроен необычно. Вместо привычной плоской матрицы инженеры создали полусферическую электронную сетчатку, повторяющую изгиб внутренней поверхности настоящего глаза. Изогнутая форма помогает охватывать широкое пространство и уменьшать оптические искажения, для исправления которых обычным камерам часто нужны дополнительные линзы и программная обработка.
На поверхности искусственной сетчатки разместили 367 500 светочувствительных пикселей с плотностью 1905 пикселей на дюйм. За цветное зрение отвечают три слоя, чувствительные к красному, зелёному и синему свету. Вместе они позволяют различать цвета, а общий диапазон чувствительности простирается от 300 до 800 нанометров, захватывая видимый свет и часть соседних областей спектра.
Самой сложной задачей оказалось изготовление изогнутого датчика с таким количеством пикселей. Традиционные способы производства микросхем рассчитаны преимущественно на плоские поверхности, поэтому инженеры разработали специальную технологию трёхмерной лазерной обработки. С её помощью удалось разместить сотни тысяч светочувствительных элементов на полусфере.
Прогресс особенно заметен при сравнении с первой версией искусственного глаза. В 2020 году разработчики смогли разместить на изогнутой сетчатке всего 100 пикселей. Теперь их количество выросло в 3675 раз, а устройство научилось различать цвета и замечать движение без постоянной передачи полных кадров.
Разработка может пригодиться роботам, беспилотникам и автономным автомобилям, которым приходится непрерывно следить за окружающим пространством. Для машинного зрения важна не просто чёткая картинка, но и скорость реакции. Если датчик самостоятельно замечает перемещения, вычислительной системе приходится обрабатывать меньше информации, что потенциально помогает экономить энергию и быстрее реагировать на происходящее.
Пока искусственный глаз существует в виде экспериментальной системы, а заявленную эффективность исследователи подтвердили в лабораторных условиях. Разработчики рассчитывают увеличить разрешение следующей версии до миллиона пикселей. Прежде чем технология доберётся до настоящих роботов, инженерам предстоит проверить, насколько хорошо новый датчик справляется с движением и сложными сценами за пределами лаборатории.
