基于最大熵深度强化学习的双足机器人步态控制方法

• 全文链接
• 请求原文

作   者：

李源潮;  陶重犇;  王琛; 

作者机构：

苏州科技学院电子与信息工程学院; 

关键词：

最大熵;  双足机器人;  深度强化学习;  步态控制;  柔性演员-评论家算法; 

期刊名称：

计算机应用

i s s n：

1001-9081

年卷期：

2024 年 44 卷 002 期

页   码：

445-451

摘   要：

针对双足机器人连续直线行走的步态稳定控制问题,提出一种基于最大熵深度强化学习(DRL)的柔性演员-评论家(SAC)步态控制方法.首先,该方法无需事先建立准确的机器人动力学模型,所有参数均来自关节角而无需额外的传感器;其次,采用余弦相似度方法对经验样本分类,优化经验回放机制;最后,根据知识和经验设计奖励函数,使双足机器人在直线行走训练过程中不断进行姿态调整,确保直线行走的鲁棒性.在Roboschool仿真环境中与其他先进深度强化学习算法,如近端策略优化(PPO)方法和信赖域策略优化(TRPO)方法的实验对比结果表明,所提方法不仅实现了双足机器人快速稳定的直线行走,而且鲁棒性更好.