多机器人搬运系统的作业分配应用研究.pdf

合肥工业大学硕士学位论文多机器人搬运系统的作业分配研究姓名:丁丽洁申请学位级别:硕士专业:计算机应用技术指导教师:唐昊 20080501 多机器人搬运系统的作业分配研究摘要在某些现代化物流和生产加工等环境中,存在一种具有多个智能机器人(或手臂)协同工作的搬运系统。机器人连续和高速的运转会导致其传动装置过热疲劳,发生故障甚至烧毁。因此,如何对搬运系统中的机器人进行合理的作业分配,避免单个机器人的过度疲劳,从而提高系统的工作效率、稳定性及安全性,是一个重要研究课题。通常此类作业分配问题可建模为离散事件动态系统(DEDS)领域内较为普遍的Markov决策过程(MDP)来研究。论文根据系统特点,首先建立了两机器人搬运系统作业分配的MDP 模型。理论上,其优化问题可通过数值迭代或策略迭代等理论计算方法来求解。但是,由于系统的状态混杂性(hybrid),且状态空间巨大,理论计算方法需进行大量的矩阵运算,实际中往往不可行。因此,论文重点研究运用强化学习方法来解决这一困难。一方面,论文在性能势理论框架下,以Q学习为基础,研究了两机器人搬运系统的作业分配问题。通过对搬运系统模型特征的分析,提出对等状态一行动对(SAP)的概念。另外,考虑到机器人发热量为一连续状态变量,文中采用小脑模型关节控制器(CMAC)神经网络作为Q值函数的逼近器,设计了一种基于CMAC和对等SAP的Q学习算法。实验结果表明,此方法不仅克服了一般Q学习算法不能用于具有连续状态变量的系统优化问题的缺点,而且在一定程度上缓解了“维数灾”问题,并提高了学习系统的优化性能。另一方面,论文根据机器人的功能和任务均相同这一特性,运用性能势概念,设计了一种适于折扣或平均准则的多Agent Q学习算法。讨论了多Agent系统中强化学习的几个关键问题,如行动选择、报酬函数定义及 Agent的信息交互等。最后,运用仿真例子验证了该算法在解决这种对等 Agent系统的学习问题时的有效性,仿真结果也说明,适当的学习交互能提高算法的学习效率。关键词:搬运系统、作业分配、Markov决策过程(MDP)、性能势、Q学习、对等状态一行动对、小脑模型关节控制器(CMAC) Task Assign ment ofHandling System withMultiple Robots ABSTRACT Insomemodem logistics,production environments and SOon,there is akind of handling systems inwhich multiple intelligentrobots(orarnls)work and continual motion will lead torobot fatigue,which may bring the system to ahalt,or even break ,to avoid single robot excessive fatigue forimproving thestability and efficiency,a reasonable taskassignment of a handling system es allimportant ,such problem can be modeled asMarkov decisionprocess(MDP),which is afamous model inthedomain ofdiscrete event dynamic system(DEDS). According tothesystem’S characteristics,we firstestablish aMarkov decision process(MDP、model forthetaskassignment of ahandling system with two robots. Theoretically。we can use numerical methods,such as value iteration and policy iteration,to solve theabove ,the statevariable posed ofbothcontinuous and discrete values,and the state space theoretical methods will need large—scale putation,SO thatthey are usually unfeasible