Л. А. Ерлыгин, А. В. Заболотный, А. А. Зайцев, П. Д. Проскура

Взвешивание ансамбля с учетом разнообразия и его влияние на оценку неопределенности

Надежная оценка неопределенности необходима для применения языковых моделей с тонкой настройкой в областях чувствительных к риску. В статье исследуется, может ли ансамблирование заменить или улучшить современные легковесные методы оценки неопределенности. При комбинации метода ALIEN с ансамблированием, учитывающем разнообразие моделей, получается ансамбль, достигающий улучшения сравнимого или превосходящего ALIEN одиночной модели. Добавление ALIEN поверх ансамбля дает дополнительный прирост. Для оценки грамматической приемлемости ансамблирование значительно превосходит базовую модель по всем метрикам, а для других задач выигрыш только в калибровке. Измерение разнообразия моделей на основе топологических признаков RTD демонстрирует наиболее устойчивую значимость для оценки грамматической приемлемости в сравнении с другими методами.

КЛЮЧЕВЫЕ СЛОВА: ансамбль, оценка неопределенности, топологический анализ данных, топологическое расхождение представлений, калибровка, большие языковые модели