Д.М. Меркулов, И.В. Оселедец

Экспериментальное исследование весов экстремального переобучения нейронных сетей  

В данной работе предлагается способ получения точек экстремального переобучения - параметров современных нейросетей, при которых они демонстрируют близкую к 100 % точность на обучающей выборке, одновременно с практически нулевой точностью на проверочной выборке. Такие критические точки функции потерь нейросети, несмотря на распространенное мнение о том, что подавляющее их большинство обладает одинаково хорошей обобщающей способностью, обладают большой ошибкой обобщения. В работе изучаются свойства таких точек и их расположение на поверхности функции потерь современных нейросетей.

 

КЛЮЧЕВЫЕ СЛОВА: Нейронные сети, переобучение, обучение с учителем, стохастические методы оптимизации