计算机应用

作者：周帅, 符浩, 刘伟

单位：1.武汉科技大学 计算机科学与技术学院，武汉 430065；2.湖北省智能信息处理与实时工业系统重点实验室，武汉 430081

关键词：人群导航,深度强化学习,离线学习,神经网络,时空Transformer

基金：国家自然科学基金资助项目(62173262);国家自然科学基金资助项目(62303357);湖北省自然科学基金资助项目(2023AFB109)

在人群密集环境中，机器人执行人群导航任务时通常采用在线强化学习算法。然而，行人运动复杂多变的特性显著降低了在线强化学习的样本效率。针对这一问题，提出一种在离线强化学习（ORL）框架下的基于时空Transformer的混合回报隐式Q学习（STHRIQL）算法。首先，将蒙特卡洛（MC）回报机制融入隐式Q学习（IQL）算法中，旨在增强学习过程的收敛性；其次，进一步将时空Transformer模型整合至Actor-Critic中，以有效捕捉并解析离线人群导航数据集中机器人与行人之间高度动态且复杂的交互信息，从而优化算法的训练流程与效率；最后，通过仿真实验将所提算法与现有基于在线强化学习的人群导航算法进行对比，并根据评估机制进行定量与定性分析。实验结果显示，STHRIQL算法不仅在人群导航任务中展现出了优越的性能，而且相较于现有的在线人群导航算法，样本效率提升了30.5%~55.8%。STHRIQL算法可为提升机器人在复杂人群环境中的导航能力提供新的思路与解决方案。

来源：2025年第11期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第11期