基于强化学习的多无人飞行器避碰决策方法

• 全文链接
• 请求原文

作   者：

杨艳飞;  诸燕平;  胡灿;  张斌; 

作者机构：

常州大学微电子与控制工程学院;  常州大学计算机与人工智能学院; 

关键词：

避碰;  无人飞行器;  深度强化学习(DRL);  PPO2;  多智能体; 

期刊名称：

电光与控制

i s s n：

1671-637X

年卷期：

2023 年 30 卷 009 期

页   码：

112-118

摘   要：

随着低空空域环境的日益复杂,执行任务的无人飞行器间发生冲突的概率不断增加.针对传统强化学习算法SAC,DDPG在解决有限空域内多无人飞行器间的避碰问题上存在收敛速度慢、收敛不稳定等缺陷,提出了一种基于PPO2 算法的多智能体强化学习(MARL)方法.首先,将多无人飞行器飞行决策问题描述为马尔可夫决策过程;其次,设计状态空间与奖励函数,通过最大化累计奖赏来优化策略,使整体训练更加稳定、收敛更快;最后,基于深度学习TensorFlow框架和强化学习Gym环境搭建飞行模拟场景,进行仿真实验.实验结果表明,所提方法相较于基于SAC和DDPG算法的方法,避碰成功率分别提高约 37.74 和 49.15 个百分点,能够更好地解决多无人飞行器间的避碰问题,在收敛速度和收敛稳定性方面更优.