Д. А. Гаврилов, Г. Д. Коноплев, А. Д. Павлова, Н. Н. Щелкунов

Системы анализ архитектуры семейства SAC

Статья имеет методологическую направленность и рассматривает алгоритм Soft Actor-Critic (SAC) как базовую мягкую архитектуру обучения с подкреплением семейства «актор-критик». Цель работы – сформировать системно-структурное описание основных блоков, сигналов и связей SAC без введения новой модификации алгоритма. Такой архитектурный подход позволяет явно разделить роли актора, критика, целевого критика, энтропийной регуляризации и репараметризации. Предложенное представление задаёт основу для последующего анализа расширенных моделей SAC с внутренней мотивацией, подключаемой через вознаграждение, энтропийный контур или расширение входного информационного пространства актора и критика.

КЛЮЧЕВЫЕ СЛОВА: Soft Actor-Critic, обучение с подкреплением, актор-критик, системно-структурный анализ, архитектурная декомпозиция, энтропийная регуляризация, репараметризация, внутренняя мотивация.