基于ganglia和mds校园计算网格监控地研究.pdf

摘要 I 基于 Ganglia 和 MDS 的校园计算网格监控研究作者简介:彭武杰,男, 1984 年 8 月出生, 师从成都理工大学罗省贤教授, 2010 年 7 月毕业于成都理工大学计算机应用技术专业,获得工学硕士学位。摘要网格环境中的资源是分布的、异构的、数量庞大而且随机变化的,网格节点可能随时加入和离开网格环境, 这些特性会导致资源和任务运行信息的频繁采集,大量消耗节点资源,也容易导致网格任务调度时被分配给无效的节点, 严重影响网格任务调度的执行效率。所以构建一个灵活高效的网格资源监控系统,监控节点资源和在其上运行的网格任务的资源消耗信息, 是网格计算中重要的环节。校园计算网格是利用校园网内的计算资源构建的计算网格,为校园环境内的各种研究工作提供高性能的计算能力。校园计算网格( UCGrid )的核心技术是基于 GT4 开发的计算网格分布式中间件,并以此为基础建立了校园计算网格门户,提供了校园计算网格运行的各种功能。校园计算网格可以解决校园内很多资源没有充分利用而同时有很多任务得不到相应资源的问题。建设校园计算网格的关键技术之一是解决资源监测问题。资源监测为校园计算网格提供必要的与资源有关的性能数据,是资源发现和资源分配的基础。本文以校园计算网格平台 为监控对象,设计并开发了校园计算网格监控系统,包括校园计算网格监测门户和校园计算网格监控器。以往的研究仅限于资源监测方面,本文研究的监控系统包含监测和控制两个方面,提出了对校园计算网格全面的监控方案。校园计算网格监测门户是对校园计算网格中的各种资源的实时监测平台, 提供了对 CPU 、内存、硬盘、网络流量等各种静态和动态的资源信息的实时监测并通过图形化方式展现。为了弥补 GT 中 MDS 组件对资源信息监测的全面性和实时性方面的不足,校园计算网格监测门户引入了 Ganglia 监控框架, 基于 Ganglia 二次开发。监测门户通过与 gmond 组件进行通信,将 gmond 收集的网格资源实时信息通过 web 页面的方式展现,同时将实时资源信息写入到 MDS 和数据库中。校园计算网格监控器 CGAMS 可以监控校园计算网格中间件、 GT 网格环境、网格数据库等,为校园计算网格的持续正常运行提供保障。 CGAMS 成都理工大学硕士学位论文 II 分为中心控制端和信息反馈端,分别部署在校园计算网格的中心节点和各分节点上,两端之间通过基于 Socket 的异步通信机制进行通信。其中中心控制端提供对中心节点上的校园计算网格中间件和 GT 组件的监控,并接收信息反馈端发送过来的 GT 组件运行的状态信息,同时中心控制端还可以恢复分节点的 GT 组件重新正常工作。 CGAMS 采用多线程技术开发,确保了在同一时间可以并发完成各种不同的功能。由校园计算网格监测门户和网格监控器组成的校园计算网格监控系统,不仅可以实时地监测网格环境中的各种资源信息,同时还可以控制与校园计算网格相关的各种组件,为校园计算网格提供了一个集监测和控制于一体的全面资源监控解决方案。校园计算网格监测门户和网格监控器 CGAMS 分别在已有的校园计算网格环境中进行了部署。在运行过程中该监控系统取得了良好的效果,不仅为网格资源的调度提供全面的数据支持,同时也可保障校园计算网格的持续正常工作。关键词: 网格 Ganglia MDS 网格监测门户监控器 ABSTRACT III Research of Grid Monitoring Based on Ganglia and MDS Introduction of the author: Peng Wu j ie, male, was born in December, 1984 , whose tutor was Professor Luo Shengxian. He graduated from ChengDu University of Technology puter Application major and was granted the Master Degree in July, 2010. ABSTRACT Grid resources are dist ribut ed, het er ogeneous, and t he number of large and random changes , t he grid nodes may join and leave t he grid environment at any t ime, t hese feat ures will lead informat ion resources and