机械工程学报

作者：段书用, 章霖鑫, 韩旭, 刘桂荣

单位：1. 省部共建电工装备可靠性与智能化国家重点实验室(河北工业大学) 天津 300401;2. 辛辛那提大学航空工程和机械工程系 辛辛那提 45221 美国

关键词：移动机器人,Q-Learning,引导Q值,跳点优化,贝塞尔曲线,路径平滑；

基金：国家自然科学基金(52175222)、河北省重点研发计划(19227208D)和天津市科技计划项目(19ZXZNGX00100)资助项目

移动机器人作业路径的合理规划是其安全高效完成作业任务的关键。现有的路径规划算法大部分是基于已知全局环境信息后，再进行路径规划。因此，针对移动机器人在静态未知环境中的路径规划问题，提出了一种具有光滑-直行功能的Q-Learning (SSQL)算法并将其用于移动机器人的路径规划中。该算法在提高Agent学习效率的同时可确保路径为光滑连续的最短曲线，以改善其行走动力学性能及效率。SSQL算法包括三个主要新方案：首先，基于Q-Learning算法对未知环境进行预探索，在Agent首次找到目标点后，依据预探索信息，构建虚拟矩形环境，并在其内部增加引导Q值，以提高Agent学习效率。同时，将Agent找到的路径进行跳点优化，以达到消除冗余路径、减少路径转折点和缩短路径长度的目的。进而，在路径转折位置采用贝塞尔曲线进行路径平滑处理，并使最终路径能满足移动机器人动力学约束。将该算法与Q-Learning算法在不同环境下进行对比试验，研究结果表明，SSQL路径规划算法对大型未知环境的探索表现出优异的优化效果，具有收敛速度快，规划的路径短、转折点少等优点，且能确保移动机器人沿规划路径作业的平滑性和安全性。

来源：2022年第11期

《机械工程学报》期刊编辑部

查看机械工程学报杂志2022年第11期