А. В. Шер

Понейронное квантование нейросетевого дескриптора HardNet

В работе исследуется применение низкобитного квантования к нейросетевому локальному дескриптору HardNet. Рассматриваются стратегии прямого и послойного квантования, а также метод понейронного квантования с передачей градиента через предшествующий слой. Квантование выполняется одновременно для весов и активаций при разрядности 2, 3, 4 и 8 бит. Для оценки влияния квантования на качество дескриптора проведены эксперименты на наборе Brown, использовавшемся для обучения исходной модели HardNet, и на дополнительных наборах MIDV-500 и MIDV-2019. На Brown качество оценивалось по показателю FPR при TPR, равном 95%, а на MIDV исследовались задачи локализации и классификации. Показано, что при 8-битном квантовании все рассмотренные стратегии позволяют сохранить качество, близкое к модели полной точности. При снижении разрядности до 2–3 бит различия между методами становятся существенными, причем понейронное квантование обеспечивает наиболее устойчивое качество в режиме низкой разрядности. В частности, для 2-битного квантования на Brown предложенный подход снижает FPR@TPR95 с 5.56% до 2.56% на Notre Dame и с 12.03% до 7.64% на Yosemite по сравнению с прямым квантованием. Дополнительные эксперименты на MIDV подтверждают сохранение преимущества метода при низкой разрядности. Полученные результаты демонстрируют перспективность постепенного квантования для построения низкоразрядных версий локальных нейросетевых дескрипторов.

КЛЮЧЕВЫЕ СЛОВА: равномерное малобитное квантование, сверточные нейронные сети, дескрипторы, особые точки.