С.Г. Потапова, А.В. Артемов, С.В. Свиридов, Д.А. Мусаткина, Д.Н. Зорин, Е.В. Бурнаев

Об обучении с подкреплением в последовательных задачах планирования ракурсов съемки априори произвольных 3D-форм

Построение 3D-моделей реальных объектов по сенсорным данным является фундаментальной задачей компьютерного зрения. Центральный фактор для эффективности решения этой задачи (выражаемой качеством 3D-модели и скоростью ее построения) – выбор ракурсов съемки объекта (3D-поз сенсоров) при получении изображений его поверхности. Последняя проблема остается открытой в области обработки 3D-геометрии и, как правило, решается переборными или жадными алгоритмами. В настоящей работе предложен алгоритм поиска оптимальных 3D-поз сенсоров на основе метода машинного обучения с подкреплением. Показано, что алгоритм обучения с подкреплением DDQN превосходит базовые подходы в рассматриваемой задачи, требуя меньшее количество поз при близком уровне погрешности 3D-реконструкции. Обучение агента и проведение экспериментов реализовано на основе среды для реконструкции 3D-форм, включающей возможность планирования поз камеры, моделирование процесса получения 3D-изображений, реконструкцию 3D-форм в виде треугольных сеток.

 

KEYWORDS: 3D модель, планирование ракурсов съемки, карта глубины, CAD модель, обучение с подкрепление, треугольная сетка