Е.В. Бурнаев, П.Д. Ерофеев

Влияние инициализации параметров на время обучения и точность нелинейной регрессионной модели

Одной из задач, возникающих при построении нелинейной регрессионной модели, является правильная (в определенном смысле) инициализации её параметров. В данной работе проводится сравнение некоторых широко распространенных методов и нескольких новых подходов к инициализации параметров регрессионной модели, представляющей из себя разложение по словарю параметрических функций специального вида (сигмоидов). В работе предложен общий детерминированный подход к инициализации, позволивший добиться повторяемости результатов, сокращения времени обучения и в некоторых случаях повышения точности регрессии; разработаны два новых алгоритма (на основе кусочно-линейной аппроксимации и на основе локальных особенностей аппроксимируемой зависимости) в рамках предложенного подхода; разработан рандомизированный алгоритм инициализации для эффективной аппроксимации зависимостей высокой размерности (сферическая инициализация); усовершенствован классический метод SCAWI (за счет расположения центров сигмоидов в точках исходной выборки), что позволило повысить точность регрессии на специфических классах зависимостей (гладкие функции и разрывные функции со множеством особенностей в области определения) при использования для обучения алгоритма RProp; проведено сравнение классических и новых предложенных методов инициализации, позволившее выявить наиболее эффективные алгоритмы.

КЛЮЧЕВЫЕ СЛОВА: нелинейная регрессия, аппроксимация, нейронные сети, инициализация параметров, алгоритм SCAWI, алгоритм RProp, алгоритм обратного распространения ошибки