В. А. Шокоров, Е. Е. Швецов, В. О. Кирова, Е. В. Бурнаев, А. В. Самосюк

Нуль-пространство глубокой нейронной сети: от локальных ядер матрицы Якоби до классификации

В данной работе предлагается геометрический формализм для описания того, как глубокие нейронные сети решают задачи классификации, с помощью изучения структуры их нулевых пространств. Расширяя классическое понятие ядра линейного оператора на нелинейный случай, мы определяем глобальное нулевое пространство как полный прообраз фиксированного выходного представления и характеризуем его локальную структуру с помощью ядра матрицы Якоби. Исходя из чего, выдвигается гипотеза о том, что хорошо обученная сеть не только разделяет классы, но и переносит внутриклассовые вариации в свое нуль-пространство, тем самым делая выходные данные инвариантными к несущественным изменениям входных данных. На примере сетей с функцией активации ReLU мы показываем, что в каждой ячейке нулевое пространство является аффинным и определяется ядром локального линейного оператора. Мы также вводим понятие epsilon-трубки как приближение нулевого пространства и инструмента для анализа и визуализации зон инвариантности в обученных моделях. Наконец, мы обсуждаем, как глубина, ширина и архитектурные ограничения влияют на нулевые пространства и как эти пространства связаны с геометрией многообразия данных.

КЛЮЧЕВЫЕ СЛОВА: нейронные сети, нулевое пространство, ячейки активации, многообразие данных, классификация.