Е. А. Жданов, Д. М. Владимиров, Е. И. Ершов

Улучшение качества гиперспектральной реконструкции с использованием больших визуальных моделей

Гиперспектральная реконструкция (ГР) позволяет получать оценку гиперспектральных изображений (ГСИ) по RGB снимкам. Современные методы ГР на основе спектрального внимания испытывают сложности при обучении на наборах разнообразных данных в силу своей малой емкости и обобщающей способности. В работе предложен новый подход, позволяющий улучшить гиперспектральный куб на выходе модели, занимающейся реконструкцией спектров за счет карты признаков, генерируемой большой визуальной моделью, что повышает итоговое качество гиперспектрального куба. Слияние спектрального и визуального представлений выполняет обучаемая голова-адаптер. Производится сравнение различных реализаций головы-адаптера, методов повышения разрешения эмбеддингов на выходе большой визуальной модели (БВМ) и подходов к обучению архитектуры с двумя ветвями. На наборе данных ARAD 1K метод статистически значимо превосходит state-of-the-art (SotA) ГР, улучшая SAM и PSNR вплоть до 20% и 1,5 дБ соответственно. Также в работе обсуждаются различные предположения которые могут объяснить причину прироста качества.

КЛЮЧЕВЫЕ СЛОВА: гиперспектральная реконструкция, большие визуальные модели.