研究了基于深度强化学习（DRL）的多无人机辅助边缘计算网络路径规划问题。针对传统方法在动态环境下适应性不足，文章分析了 UAV-MEC 网络架构，介绍了 DDPG、MADDPG 等核心算法在多智能体协同中的应用。通过仿真验证了 DRL 在最大化卸载数据量、最小化能耗及降低延迟方面的有效性，并讨论了状态空间爆炸、实时性等挑战及未来融合元学习与联邦学习的发展方向。
随着 5G 通信、物联网与边缘计算技术的深度融合，多无人机辅助边缘计算网络（UAV-MEC）已成为解决动态场景下低延迟计算服务的关键范式。然而，传统路径规划方法在应对高维动态状态（如用户任务分布、网络负载、无人机剩余电量）时存在适应性不足的问题。深度强化学习（DRL）通过神经网络拟合策略或价值函数，为多无人机协同路径规划提供了端到端优化框架。本文聚焦 DRL 在 UAV-MEC 网络中的应用，系统梳理其技术架构、核心算法与典型场景，并提出面向实际部署的挑战与解决方案。
移动边缘计算（MEC）使得网络边缘的计算能力能够灵活快速地部署创新的应用和服务，为大量物联网设备提供支持。有了 MEC 的部署，设备可以将计算密集型任务转移到附近强大的边缘服务器，以减少延迟和节省能量。与固定的边缘服务器不同，最近的一些工作致力于移动边缘服务器的研究，它可以在恶劣环境中提供更灵活、更经济和更高效的计算服务。最近的一些文献提出使用无人机来改善地面物联网设备的连接性。无人机辅助无线通信在灵活部署、完全可控的移动性和增强网络性能方面具有优势，因此引起了越来越多的研究兴趣。因此，无人机辅助边缘计算网络是一个自然的选择和有前景的范式，在其中如何优化无人机的飞行路径以满足大量设备的通信和计算需求成为一个重要且具有挑战性的问题。
传统云计算模式因传输延迟高、网络拥塞等问题，难以满足实时性要求高的应用场景（如远程医疗、自动驾驶）。边缘计算通过将计算资源下沉至网络边缘，显著降低数据传输延迟，但固定边缘节点的覆盖范围有限。无人机凭借其灵活部署能力，可作为移动边缘节点（UAV-MEC），动态扩展边缘计算网络的覆盖范围。例如，在灾害救援场景中，无人机可快速抵达灾区，为受灾用户提供临时计算服务，弥补地面基础设施的损毁。
多无人机协同路径规划需同时满足以下核心目标：
传统方法（如 A*、RRT*）难以处理高维动态状态，而 DRL 通过神经网络直接从原始数据（如传感器感知的环境信息、用户任务请求）中学习最优策略，为复杂环境下的路径决策提供了新范式。
UAV-MEC 网络由'无人机集群 - 地面用户 - 核心网络'三层架构组成：
多无人机路径规划需突破传统'避障 - 最短路径'框架，满足三维协同需求：
DRL 通过神经网络拟合策略或价值函数，完美适配多无人机路径规划需求：
DDPG 通过 Actor-Critic 框架实现策略优化：
在城市广场场景中，无人机通过 DDPG 规划路径，可形成'蜂窝状'覆盖，确保每个用户到最近无人机的距离小于通信阈值。例如，某实验中，无人机集群通过 DDPG 算法将用户任务完成率提升至 92%，较传统方法提高 23%。
多无人机系统为典型多智能体场景，需采用多智能体深度强化学习（MADRL）解决协同决策问题：
MADRL 的核心是设计'协同奖励'，如奖励多无人机的服务覆盖重叠率（避免冗余覆盖）与任务负载均衡度（差异越小奖励越高）。例如，在某应急救援场景中，MADDPG 算法使无人机集群的任务卸载延迟降低 41%，能耗均衡度提升 28%。
当环境突变（如突发事故导致某区域任务激增、出现临时禁飞区），DRL 的在线学习能力可快速响应：
任务卸载效率（如卸载延迟、成功率）依赖于无人机与用户的通信质量（受距离影响）。DRL 通过以下方式实现协同：
例如，在某工业监测场景中，无人机通过 DRL 算法将重型任务的卸载比例优化至 65%，较固定策略提升 32%，同时任务完成延迟降低 19%。
深度强化学习为多无人机辅助边缘计算网络的路径规划提供了端到端优化框架，通过神经网络直接从高维原始数据中学习最优策略，显著提升了网络在动态环境下的适应性与协同效率。未来，随着元学习、联邦学习等技术的融合，DRL 将进一步推动 UAV-MEC 网络向智能化、自主化方向发展，为智慧城市、应急救援、工业物联网等领域提供低延迟、高可靠的边缘计算服务。
function TU_demand_matrix = TU_demand_linear
%% parameters
global N2;
global TU_info;
global SERVICE_RADIS;
global n;
global B;
%% Normalize
maxDemand=max(TU_info(:,3));
minDemand=min(TU_info(:,3));
%% Calculate accumulated TU_info service demand matrix
TU_demand_matrix=zeros(N2,N2); %initial T as N2*N2 0 matrix
for x=1:N2 %for point (x,y) in N2*N2, summrize demand from TU_info with in SERVICE_RADIS, return T
for y=1:N2
sum=0;
for i=1:size(TU_info,1)
if norm([x/N2,y/N2]-TU_info(i,1:2))<= SERVICE_RADIS
sum=sum+(TU_info(i,3)-minDemand)/(maxDemand-minDemand);
end
end
TU_demand_matrix(x,y)=sum;
end
end
end
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online