控制理论与控制工程硕士论文-多智能体系统的学习策略研究.pdf

广东工业大学
硕士学位论文
多智能体系统的学习策略研究
姓名:李熊
申请学位级别:硕士
专业:控制理论与控制工程
指导教师:陈玮
20090601
摘要强化学习是一种无监督学习方法,它能够使智能体在环境模型未知的情况下利用环境奖赏发现最优的行为序列,因此被广泛用于多智能体系统中鏡足球仿真系统D壳爸髁鞯那炕八惴ㄊ荙学习算法,八惴ǖ挠τ媚够大大改善系统的性能,但耙泊嬖诓蝗缛艘獾牡胤健1韭畚恼攵訯学习算法的学习速度慢这一问题进行了深入的探讨,提出结合启发知识函数的八法,改进了标准八惴ǖ男Ч1疚闹饕D谌萑缦拢首先,简要介绍了本课题的研究内容、目的意义、国内外发展状况和研究方法等,针对机器学习是人工智能领域研究的热点,及在多智能体系统的广泛应用。对比分析了机器学习的各种学习策略,阐述了它们的基本原理、结构、分类和适合应用的系统环境。结合抡嫦低车奶氐悖颐亲钪昭≡袂炕白魑改善我们球队协作策略的主要算法。然后,论文阐述了强化学习理论的原理、组成要素和分类。对比分析了强化学习四种算法的学习原理、结构特点和适用对象。基于我们仿真球队的实际情况,横向比较了几种强化学习应用于球队协作策略的效果,选择以八惴ㄎ1疚牡闹饕8慕惴ā其次,针对标准八惴ㄑ八俣嚷娜钡悖疚奶岢鲆恢只谄舴⒅J的改进型八惴ǎ盟惴ㄔ诒曜嫉腝学习算法中加入具有启发知识的函数来影响学习过程中智能体动作选择,从而加快了智能体在复杂环境中的学习速度。然后,提出了一种具有启发知识的并行八惴ǎ诟盟惴ㄖ校斡胙暗母智能体独立的执行基于启发知识的八惴ǖ耐保悄芴逋ü涣餮俺果、融合启发知识、共享学习结果,提高整个多智能体系统的学习效率。最后,论文利用仿真验证了启发式八惴ǖ挠行圆⒏隽肆个实例。实例中的智能体能够通过学习快速的选择动作,其学习速度和决策判断的准确度比标准八惴ǘ加忻飨缘奶岣摺N颐墙舴⑹絈学习算法应用于抡媲蚨又校⒂胗τ昧吮曜糛学习算法的球队进行比赛。结果显示,启发式八惴ǖ那蚨佣釉毙髂芰υ对肚坑诒曜糛学习算法的球队。相比较于标准的八惴ǎ悄芴逋ü舴⑹絈学习可以更快的学习到正确的动作决
策,从而有效的提高了智能体的学习速度,对仿真球队高层协作策略的有效执行有很大的帮助,提高了球队的综合水平。关键词:机器学习;强化学习;启发式埃盒鞑呗裕籖足球仿真。广东工业大学硕士学位论文
.甌琣猯猯瓵,.瓸,.琲瑃甒.,瓵瑆’:.琧—瓹猘甌瑆.
猯猯广东工业大学硕士学位论文甀,瑃,瓻:,,,.
⋯拌影鹰雠独创性声明如研年‘,月秉承学校严谨的学风与优良的科学道德,本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及所取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,不包含本人或其它用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明,并表示了谢意。本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的,论申请学位论文与资料若有不实之处,本人承担一切相关责任,特此声明。文成果归广东工业大学所有。论文作者签字:~~~
第一章绪论研究背景及目的意义随着人工智能的发展以及互联网技术的进步,并行计算和分布式人工智能等技术应运而生,在过去多年中获得快速发展。多智能体系统作为分布式人工智能研究的一个重要分支,其目标是将大的复杂系统拆分成小的、彼此相互通讯及相互协调的、易于管理的系统。因而,近年来对于蚆砺酆图际跗捣背鱿衷诖罅坑τ孟低车纳杓浦校訟的研究已成为人工智能学科的一个热点。目前,蚆等相关技术已日益应用于交通控制、智能机器人、分布式控制、计算机网络、电子商务、软件系统等领域,成为一种对复杂系统进行分析、设计的有力的思想方法和工具。作为典型亩嗷魅协作系统,成为对芯康睦硐肫教ㄅ。借助这一平台,有利于对南喙乩论和技术进行深入的研究。多智能体的协作是芯康暮诵奈侍庵唬魅足球仿真比赛且桓龅湫偷腗,为了实现智能体的共同目标,需要解决的学习已经成为人工智能和机器学习研究方向发展最迅速的领域之一。它和传统体系的显著区别在于其自主性、反应性、协作性。本课题主要借助教ǎ芯炕餮八惴ㄔ贛中的应用。怯啥喔鱿嗷プ饔玫淖灾沃悄芴逍纬傻募希浜诵奈侍馐茄扒蠼⒁种有效的协作机制,使功能简单、相互独立的智能体通过协商、协调和协作完成复杂的目标任务。鞯睦砺垩芯砍晒延τ玫焦ひ抵圃臁⒐炭刂啤⒃冻通讯,空中交通管理、电子商务、信息收集和过滤、交互式娱乐、医疗和军事等各个领域。随着网络和分布式计算技术的发展,一些现实系统往往异常复杂、庞大,并呈现出分布式特性,以至于单蚋鎏逅涤械闹J丁⒓扑阕试春褪油嫉南制而力不能及,对多难芯垦杆俜⒄梗鸾コ晌H斯ぶ悄苎芯康娜鹊鉎比赛中多智能体之间的协作问题口
.餮袄砺由于环境的未知性,所以多难肮淌遣豢杀苊獾模捎没餮白