大数据支持下的网络日志分析技术研究.doc

大数据支持下的网络日志分析技术研究
【摘 要】文章从大数据背景下网络日志的特点分析入手,论述了大数据支持下的网络日志分析技术。期望通过本文的研究能够对提高计算机网络系统的安全性有所帮助。
【关键词】大数据;网络;日志分记录的操作结果的集合。一个日志文件通常都是由多条日志记录所构成,其中每条记录描述的系统事件均为独立事件。随着大数据时代的正式开启,使网络日志呈现出如下特点。
数据量大
在大数据环境下,计算机网络系统中的相关设备运行时,均会产生大量的日志,这些日志需要结合说明文档,才能了解其中的具体内容,所以想要通过人工的方式对日志进行分析非常困难。不仅如此,海量的数据信息在一定程度上给日志存储与安全保护带来较大的难度。
多源异构
在大数据环境下,计算机网络系统中的日志信息来源非常广泛,由于这些日志信息来自于类型各不相同的设备,从而使得日志数据具有多源异构的特点。设备不同,产生的日志格式也不相同,由此给日志的收集与处理增添了一定的难度,尤其是操作系统日志和入侵检测系统日志。
相互关联
针对计算机网络系统的恶意攻击通常都是由若干个阶段构成,其中的每个阶段均会产生出内容不同的日志数据,从这个角度来看,日志数据之间存在着相互关联的特性。以远程登录为例,整个过程会被以下日志所记录:操作系统日志、防火墙日志以及审计日志。
易受攻击
在计算机网络系统中,日志主要是为网络管理人员服务,正因如此,对日志进行设计时,只考虑了管理方面的便捷性,却并未充分考虑日志本身的安全性,从而使得日志数据很容易受到恶意攻击。例如,黑客通过对系统注册表或是Syslog配置文件的修改,能够停止日志进程,这样便可阻止日志对系统中的安全事件进行记录,由此会导致计算机网络的安全性大幅度降低。此外,部分日志数据生成之后,会被存储在安全性较低的目录下,这部分日志成为黑客的主要攻击对象。
2 大数据支持下的网络日志分析技术
网络日志分析技术
1)离线分析。日志中存储着海量的数据信息,为对这部分数据进行深度挖掘和分析,并追溯后台的操作记录,需要对日志数据进行长期、持续地存储,这一目标可以借助Hadoop来实现。Hadoop是Apache软件基金会开发的一套分布式基础架构,它实现了一个分布式文件系统,即HDFS,该系统最为突出的特点是容错性高,可在低廉的硬件上进行部署。因HDFS能够提供高吞吐量对应用程序中的相关数据进行访问,从而使其在超大数据集的应用程序中具有良好的适用性。在网络日志分析中,可将不需要实时分析的数据存储在HDFS中,然后借助相应的编程模型,如Map Reduce等,便可对日志数据进行挖掘和分析。Hadoop不但为非实时分析的日志数据提供了解决方案,还为实时展示的日志数据提供了解决方案,即HBase,這是一个具有分布式特点的面向列的开源数据库,它是Hadoop的子项目之一,可用于非结构数据的存储。HBase能够对数据表进行自动分区,由此可实现海量数据的存储。
离线日志分析具有如下特征:能够批量对数据进行获取及传输,可在预先设定好的周期内,对批量数据进行计算和展示。比较常见的离线日志分析方法有聚类分析法、序列分析法、关联分析法等。不同的方