球员智能体设计.ppt

第3章球员智能体设计
本章概要
有益的工作基础
记1998-2010年历届世界冠军的有益经验
■球员智能体整体设计架构
球员智能体具体功能设计
>球员智能体构建核心类
≯球员智能体构建其他辅助类
球员智能体程序控制流程
三线程控制结构
球员智能体执行例程
(3)
BC树
Behavior(args)
if(condition)then Behavior(args)
if(eondition)then Behavior(args)
if(condition)then Behavior(args)
if(eondition)then Behavior(args)
if( condition)then Behavior(args)7
if(condition) then Primitive(args
... if(condition) then Primitive(arg
if(conditiom)then Primitive(arys)
(4)
CMU的层次学习
第一层,进行 Agent个体基本技术的学习。典型的例子就是进行
断球的学习,通过神经网络的方法,对在不同的场景下学习断球
层, Agent同另外一个 Agent之间的协同学习。典型的例子是
进行传球的学习,如在球场上 Agent当前在控球,并且做出了决
策要就进行传球给一个特定的队友,这时它必须学习一个合适的
方向和传球速度。在该层它可以调用第一层已经学习过的基本技
术。这通过构造决策树的方法,求出相应的节点值,构造出一个
分类器。
第三层, Agent同其他多个 Agent之间进行的球队策略学习。比较
典型的例子是进行传球对象的选择,如在球场上 Agent当前在控
球,这时它要选择把球传给哪个队友。在学习本层的时候,也认
为第二层已经学习过了,这时它要考虑时传给哪个队友的利益大。
主要是通过TPOT-RL( Team-Partitioned Opaque-Transition
Reinforcement Learning)来进行学习。

CMU
1998、1999年世界冠军
FC Portugal
2000年世界冠军
Tsinghuaeolus
2001、2002年世界冠军
UVA-Trilearn
2003年世界冠军
Karlsruhe brainstrormers2005、2007年世界冠军
USTCWrightegle
2006、2009年世界冠军
Hellos
2008、2010年世界冠军
FC Portugal 2000
FC Portugal由葡萄牙的里斯本大学和波尔图大学合作完成
的一支球队。获得了200年世界冠军。
它是在 CMUnited99公开的底层源代码的基础上,对多智
能体的合作方面做出了巨大的贡献(在这之前, Robocup
仿真参赛队的阵型以及战位都很混乱
FC Portugal在球队策略、战术、阵型、球员类型、站位机
制以及角色的动态转换机制等方面都有自己的特点。