姓名:穆宣羽;学号:21011210092;学院:通信工程学院
多用户移动边缘计算的分布式计算卸载:一种深度强化学习方法
移动边缘计算(MEC)是最近出现的一种很有前途的解决方案,可以将资源有限的移动设备从计算密集型任务中解放出来,使设备能够将工作负载转移到附近的MEC服务器,并提高计算体验的质量。然而,考虑到本文中由多个随机任务到达的移动用户和无线信道组成的MEC系统,流量策略的计算设计具有挑战性,以最小化功耗和缓冲延迟方面的长期平均计算成本。研究了一种基于深度强化学习(DRL)的分布式动态计算卸载策略,以建立一个具有有限反馈的可扩展MEC系统。具体而言,采用了一种基于连续动作空间的DRL方法,称为深度确定性策略梯度(DDPG),以在每个移动用户处独立学习有效的流量策略计算。因此,根据每个用户对MEC系统的本地观察,学习的策略可以自适应地分配本地执行和卸载任务的能力。数值结果表明,在每个用户处都可以学习到有效的策略,基于DDPG的分散策略的性能优于传统的基于深度Q网络(DQN)的离散功率控制策略和其他贪婪策略,且计算成本较低。此外,还分析了基于DDPG和基于DQN两种策略的功率延迟权衡。