基于SAC的自动驾驶车辆控制方法应用

• 全文链接
• 请求原文

作   者：

宁强;  刘元盛;  谢龙洋; 

作者机构：

北京联合大学智慧城市学院;  北京联合大学北京市信息服务工程重点实验室; 

关键词：

无人驾驶控制;  深度强化学习;  现实场景; 

期刊名称：

计算机工程与应用

i s s n：

1002-8331

年卷期：

2023 年 008 期

页   码：

306-314

摘   要：

为了改善SAC（soft actor critic）算法样本等概率采样以及网络随机初始化造成网络收敛速度慢、训练过程不稳定问题，提出一种结合优先级回放和专家数据的改进算法PE-SAC（priority playback soft actor critic with expert）。该算法依据样本价值将样本池分类，使用专家数据预训练网络，缩小无人车无效探索空间、降低试错次数，有效提升算法学习效率。同时设计一种面向多障碍物的奖励函数增强算法适用性。在CARLA平台进行仿真实验，结果表明所提出方法可以更好地控制无人车在环境中安全行驶，同等训练次数下所得奖励值和收敛速度优于TD3（twin delayed deep deterministic policy gradient algorithm）和SAC算法。最后，结合雷达点云地图与PID（proportional integral derivative）控制方法缩小仿真环境与真实场景差异性，将训练所得模型移植到园区低速无人车中验证算法泛用性。