Д. М. Владимиров, Д. А. Реутский, Е. И. Ершов

Обзор методов спектральной реконструкции по трёхканальным изображениям

Гиперспектральные изображения (ГСИ) хранят в каждом своем пикселе распределение интенсивности света по длинам волн. В связи с высокой стоимостью оборудования для съемки ГСИ, исследователи разрабатывают методы оценки спектральных характеристик объектов в сценах по сжатым или маломерным представлениям спектров. Такой процесс оценки принято называть гиперспектральной реконструкцией (ГР). В литературе часто рассматривается возможность оценить ГСИ по доступным RGB-изображениям сцены. В настоящей работе представлен обзор и классификация самых значимых из этих методов, а также изложены общепринятые наборы данных и метрики для оценки качества реконструкции из RGB-изображений. Проведена вычислительная ревизия: все методы заново обучены и протестированы на наборе данных ARAD 1K. В литературе нет общепринятой постановки задачи ГР, не уточняется природа трёхканальных изображений, должны они быть в RAW-формате или JPEG, эксперименты выполнены для обоих вариантов. Наилучшее достигнутые значения PSNR 32,0 dB и 33,5 dB при реконструкции из JPEG-изображений и RAW-изображений соответственно. При смене тестового набора данных на CAVE у всех методов наблюдается ухудшение качества реконструкции минимум в 2 раза: это показывает, что низкое разнообразие сцен в ARAD 1K ограничивает обобщающую способность методов ГР. Также в работе обсуждаются возможные направления будущих исследований и текущие проблемы, возникающие при решении поставленной задачи.

КЛЮЧЕВЫЕ СЛОВА:Гиперспектральная реконструкция, спектр, нейронные сети, Трансформеры.