基于模糊Q学习算法的AGV路径规划研究.pdf.pdf

务l匐似基于模糊Q学习算法的AGV路径规划研究ResearchonpathplanningofautomatedguidedvehiclesbasedonalgorithmoffuzzyQ-learning陈自立,徐娅萍,顾立彬CHENZi—liIXUYa—ping,GULi-bin(西北工业大学机电学院,西安710072)摘要:路径规YIJ~AGV控制系统中的关键技术。文章在分析3"AGVN径规划方法的基础上,对于未知环境下AGV的局部路径规划问题,设计了一种改进的模糊Q学习路径规划策略,并给出具体执行步骤,最后用Matlal3进行了仿真。仿真结果表明该方法规划的轨迹平滑、实时性好、具有良好的效果,该研究为进一步控~IJAGV奠定了基础。关键词:AGV;未知环境;模糊Q学习;路径规划中图分类号:TP24文献标识码:A文章编号:1009—0134(2012)06(上)一0004—03Doi:].1009-(I-).020引言路径规划是机器人导航中的一个重要方面,其定义为在具有障碍物的环境内,按照一定的评价标准,寻找一条从起始状态到达目标状态的无碰撞路径【1J。根据机器人对环境信息获取的情况,路径规划可分为全局路径规划和局部路径规划。实际中,大多数属于局部路径规划问题,例如自动化物流实验室,其整体结构和布局已知,但有些中间障碍物(工作台、堆放的货物等)就是不可预知的口j。常用的局部路径规划方法有模糊逻辑法、人工势场法、神经网络等等,相对于传统的方法它们具有鲁棒性和快速性等优点,但是针对未知环境下障碍物的不确定性和复杂性,要完全依靠程序员的手工编程实现其基本行为的设计和组织工作,就变得非常繁重,甚至是不可能的。因此有必要引入具有自主学习能力的方法,其中强化学习是一种提高系统智能化的有效方法,被广泛引用到基于行为的移动机器人控制J。文章针对未知环境下AGV局部路径规划问题,在模糊Q学习方法的基础上,动作搜索策略中加入模拟退火算法,用于动作探索和利用的平衡,设计基于导向和避障的回报函数,从而提出种改进的模糊Q学习路径规划方法。经过验证,此方法实现了AGV局部路径规划,提高了路径规划的收敛速度和学习效率。1AGV的运动学模型和实时环境信息的获取AGV的运动模型如图1所示,建立参考坐标系XoY,设定车体重心的坐标位置为M(x,y,),设定MB与oX的夹角为AGV的姿态(逆时针为正),则用(,Y,)表示AGV在参考坐标系中的位姿。在AGV前端均匀分布I5个超声波传感器(探测距离20cm-4m),用于获取前方避障物的距离信息。采用(i=LB,LF,MF,,胎)分别表示AGV左后方、左前方、正前方、右前方、右后方最近障碍物的距离。例如检测到障碍物距离为fll,,,l3,记为lLB=rain(,?,l2,,13),表示该AGV左前方距离处存在障碍物。2模糊Q学习方法Q学习是强化学习中运用最广泛的方法之它采用“试错法”与环境交互,并基于回报函数估计值找到最优动作序列。由于回报值是存储在Q矩阵中的,因此Q学习算法不能用来克服状态一动作对在连续空间中的取值问题。如果对连续的状态和动作空间进行离散化,会导致运算效率下降。针对该问题,G]orenec等人提出了在传统的Q学习算法中加入TSK模糊逻辑推理,用以表示动作和Q函数J。TS