С. П. Ковалев, А. И. Полюхович

Двухуровневая архитектура глубокого обучения с подкреплением для стратегического планирования развития микросетей

В работе предлагается подход к стратегическому планированию развития микроэнергосистем, объединяющий две модели глубокого обучения с подкреплением, которые действуют на различных уровнях принятия решений: Q-сеть, выполняющую реконфигурацию топологии сети, и пару Актор–Критик, выбирающую порядок ввода в эксплуатацию новых генераторов. Размещение распределенных генераторов таким образом, чтобы максимизировать темп прироста запитанной нагрузки при минимизации затрат на установку, представляет собой NP-трудную задачу комбинаторной оптимизации, которая для сетей реальной размерности плохо поддается решению точными целочисленными решателями. Предлагаемая архитектура разделяет ее на две связанные подзадачи, каждая из которых решается наиболее подходящим для нее методом: реконфигурация на уровне коммутационных аппаратов, пространство действий которой дискретно, выполняется предварительно обученной Q-сетью, тогда как последовательный выбор мест размещения, пространство действий которого существенно шире, реализуется схемой Актор–Критик на основе градиента политики. Поскольку прирост запитанной мощности, получаемый от установки генератора в очередном узле, зависит от уже установленных генераторов, порядок ввода является переменной решения, и уровни обучаются последовательно, а не совместно. Метод не требует явной аналитической модели процесса передачи электроэнергии и формирует план развития в реальном времени. На тестовой системе IEEE из 57 узлов обученная модель за 820 миллисекунд формирует план, обеспечивающий питание 86% суммарной нагрузки за счет размещения пяти генераторов общей мощностью 1950 МВт, что делает подход применимым как для инвестиционного планирования, так и для оперативного реагирования на аварийные ситуации.

КЛЮЧЕВЫЕ СЛОВА: глубокое обучение с подкреплением, Актор–Критик, Q-обучение, микроэнергосистема, размещение источников распределенной генерации, реконфигурация сети, планирование развития, комбинаторная оптимизация