Китайские исследователи собрали набор данных, который может заметно упростить жизнь системам морского наблюдения. Вместо привычных «чистых» картинок из лаборатории команда взяла реальные съемки кораблей у порта в Бохайском море и свела в одну систему данные сразу с нескольких типов сенсоров. В центре работы оказался парный массив видимых и инфракрасных изображений, который нужен для более надежного поиска судов в сложной погоде и при плохом освещении.
Авторы построили крупную мультимодальную систему на базе данных с SAR, обычного радара, камер видимого диапазона и инфракрасных камер. Съемку вели с береговых и воздушных платформ, а разметку готовили в два этапа: сначала автоматически совмещали кадры между разными каналами, потом вручную исправляли ошибки. Для широкой аудитории смысл простой: алгоритм получает не одну картинку, а сразу два взгляда на одну и ту же цель, поэтому шанс пропустить судно в сложной обстановке снижается.
Главный результат работы - набор Dual-Modal Ship Detection из 2163 совмещенных пар изображений в видимом и инфракрасном диапазоне. Совмещение между двумя модальностями исследователи выполнили с помощью аффинного преобразования. В набор вошли кадры не только при нормальной видимости, но и в тумане, дожде, облачности и при контровом свете, то есть в условиях, где морская автоматика обычно начинает ошибаться заметно чаще.
Проверка на популярных моделях показала не рекорд ради рекорда, а вполне практический результат. На наборе YOLOv8 выдал mAP@50 около 0,65, а модель CFT показала примерно 0,63. Авторы считают, что такой массив пригодится для исследований в области слияния видимого и инфракрасного изображения и поможет делать детекторы устойчивее к реальной морской погоде, а не только к аккуратным тестовым сценам.
Если коротко, работа ценна не громким числом, а подходом. Исследователи предлагают не очередной набор красивых картинок с кораблями, а более жизненный материал для тренировки систем, которым предстоит работать у воды, в дымке, под дождем и на фоне бликов. Для отрасли морского мониторинга такой сдвиг может оказаться важнее, чем очередной прирост точности на стерильных тестах.
