网络环境下异构日志信息分析.pptx

网络环境下异构日志信息分析
专 业：计算机应用技术
学 生：纪乃丹
学 号：S309060149
网络环境下异构日志信息分析
专 业：计算机应用技术
学 生：纪乃丹
学 号：S309060149
指导教师：王慧强 教授
主要内容




随着计算机和网络技术的不断开展，
互联网用户在全球正以迅猛的速度增长，
入侵攻击的威胁也是人们始料不及的。保
障网络和信息平安正成为商业和政府机构
日益关注的焦点问题。
网络环境下大量的日志数据详实地记录了系统和网络中的运行事件，通过它可以了解网络系统运行状况，诊断过失异常，分析和定位可能出现的攻击等，构建一个网络环境下日志的采集和预处理平台,为网络平安态势评估提供重要的数据支持。

Anderson首次提出了利用系统自身的日志信息进行平安审计的思想
GFI软件公司开发的LANguard Security Event Log Monitor

中国科学院的连一峰等人利用数据挖掘中的关联分析和序列挖掘技术对日志信息处理，挖掘出用户行为的异常行为。
北交大的蒋嶷川等提出综合关联分析、序列模式分析、分类分析和聚类分析4种挖掘方法，从预处理后的日志数据中提取平安规那么。
思科公司研发的Mars系统
北京清华得实公司的NetSC日志审计系统
华为公司的XLog网络日志审计系统

日志数据源定义模糊，没有统一标准。
停留在日志数据的采集、查询、统计等功能，无法发现数据中存在的关联、关系和规那么。
网络平安状态的日志分析单一化，集成化研究较少。
缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏〞的现象。

主要对日志信息的提取、预处理和分
析三个局部进行了研究。



文件型日志采集
文件型日志是指原始日志数据以文件的方式存储于一个固定的位置。对此种日志的采集主要问题是解决对日志文件的读取，以及在透彻了解日志数据的结构之后对其进行相应的拆分。
基于SYSLOG协议的日志采集
支持syslog的设备将日志以网络协议的方式发送到syslog日志效劳器。然后在syslog日志效劳器内部进行日志的解析。

主要做的是填补缺失数据、消除噪声数据、过滤重复数据。网络环境下的日志数据量一般都非常大，而且重复的数据很多。过大的数据量可能会降低后续的分析效率和效果。数据清洗的目的就是减少日志的数据量，过滤掉重复记录，去除噪声数据。

数据约简对采集到的日志属性归约表示，减少属性，但仍接近于保持原数据的完整性。这样，在约简后的日志数据集上挖掘将更有效，并产生相同或几乎相同的分析结果。目前主要有基于专家知识的数据约简和基于粗糙集理论的数据约简方法。
数据分类是从数据对象中发现共性，并将数据对象分成几种不同类的一个过程。数据分类是数据挖掘应用领域中极其广泛的重要技术之一。数据分类的方法主要有决策树分类方法和Bayes分类方法。
通过格式化处理，我们就可以把网络上的多源异构日志数据转换成具有固定格式的事件序列，形成“标准〞的数据—XML格式数据。

三种代表性的日志
分析方法:
。
。
。


谢谢！