北京邮电大学|用于成本和延迟敏感的虚拟网络功能放置和路由的多智能体深度强化学习

【标题】Multi-Agent Deep Reinforcement Learning for Cost- and Delay-Sensitive Virtual Network Function Placement and Routing

【作者团队】Shaoyang Wang, Chau Yuen, Wei Ni

【发表日期】2022.6.24

【论文链接】https://arxiv.org/pdf/2206.12146.pdf

【推荐理由】本文提出了一种有效且新颖的基于多智能体深度强化学习 (MADRL) 的方法，用于解决联合虚拟网络功能 (VNF) 布局和路由 (P&R)，其中同时包含具有不同需求的多个服务请求。 服务请求的差异化需求反映在它们的延迟和成本敏感因素上。 作者首先构造一个 VNF P&R 问题来联合最小化服务延迟和资源消耗成本的加权和，这是 NP 完全的。 然后，联合 VNF P&R 问题被解耦为两个迭代子任务：放置子任务和路由子任务。 每个子任务由多个并发的并行顺序决策过程组成。 通过调用深度确定性策略梯度方法和多智能体技术，设计了一个 MADRL-P&R 框架来执行这两个子任务。 提出了新的联合奖励和内部奖励机制来匹配布局和布线子任务的目标和约束。 本文还提出了基于参数迁移的模型再训练方法来处理不断变化的网络拓扑。