И.Д. Бутаков, С.В. Маланчук, А.М. Неопрятная, А.Д. Толмачев, К.В. Андреев, С.А. Круглик, Е.А. Маршаков, А.А. Фролов

Оценка энтропии набора данных большой размерности с помощью сжатия с потерями

В статье предлагается методика оценки энтропии многоразмерного набора данных, основанная на сжатии с помощью автокодировщика. Приведено теоритическое обоснование релевантности данной оценки, а также проведена серия экспериментов на наборах синтетических данных и на данных рукописных цифр MNIST.

 

KEYWORDS: нейронные сети, энтропия набора данных, автокодировщик, ядерная оценка плотности