高校网络日志大数据分析平台研究.doc

高校网络日志大数据分析平台研究.doc高校网络日志大数据分析平台研究
摘要: 许多高校面临着用户快速增长、网络数据庞大、信息安全隐患等多方面的问题,校园网每天生成NAT、DNS、any colleges and universities are faced s of rapid groassive ation security risks etc., the campus assive ent (ITOM) and big data processing. This paper introduces a massive based on the big data technology, studies the technology architecture and bus module of big data analysis platform, and realizes the collection and big data analysis of the campus massive pus ation construction; ; big data analysis
0 引言
随着信息技术日新月异,各类应用层出不穷,部分高校已经建成一个集普适服务网、科研学术专网、物联感知专网于一体,融数据、语音、视频等各类信息通讯能力于一身,高速通畅、安全可靠的下一代校园综合支撑网络环境[1]。高校网络用户逐年递增,网站流量、DNS域名解析、VPN数据、邮箱等应用每天产生海量数据。对校园网每天产生的海量日志进行存储、计算、分析,研究如何充分利用大数据技术对校园网数据进行有效整合,更好地为广大师生提供服务,为学校管理者提供更好的决策依据十分必要,这也是校园网运维未来发展和打造智慧校园的一部分。
1 需求与目标
高校的信息化建设普遍面临着运维问题,即:校园网络用户规模逐年递增,运维难度增大、比较被动、效率低。用户基本通过电话报修,运维人员难以远程定位故障,而上门维护时又难以再现故障,现有的网络运维管理系统对运维的支持力度有限。如何充分利用现有的运维管理软件,以及各类有线网/无线网运维过程产生的大量的结构化和非结构化的数据,是亟待解决的一个主要问题。
我们需要具备更强大的数据存储、处理、分析的大数据平台,以提高校园有线与无线网络的运维效率、大数据分析和利用能力,需建设一套涵盖有线与无线网大数据运维支持平台系统,实现校园网运行数据的获取、存储、分析[2]。通过大数据处理,实现运维分析和查询,提高运维主动性和效率、解决运维难题,能够解决目前运维过程中发生的问题。例如,将现有VPN有线上网日志、无线上网用户日志、DNS域名日志、网站访问日志等相关的数据库、信息系统日志文本数据等进行相关的处理分析,以提高运维方面的效率。该平台软件系统需要能够平滑扩展,为未来的海量数据分析提供更多的数据利用的应用接口。
2 校园网大数据分析平台总体框架
平台拓扑
校园网大数据分析平台,对有线网和无线网运行数据进行获取、存储、分析,通过大数据处理,实现运维分析和查询,提高校园网运维主动性和效率,能够解决目前运维过程中发生的问题。图1为校园网大数据平台拓扑结构。
平台角色定义
校园网大数据分析平台有如下系统功能角色定义和要求,如表1。
功能模块
校园网大数