用贝叶斯网络挖掘网络日志的研究和实现.pdf

苏州大学
硕士学位论文
用贝叶斯网络挖掘网络日志的研究与实现
姓名:陈佳敏
申请学位级别:硕士
专业:计算机应用技术
指导教师:吕强
20080401
要摘分布广泛的信息库,基于这个巨大信息库的应用将产生同样巨量的网络日志,这些网本文描述了如何运用贝叶斯网络来挖掘一个真实的每天约有一千万条数据的大随着网络飞速发展,网络的规模越来越大。互联网络已经发展成为一个巨大的、络日志蕴含着极其丰富的可能被挖掘的隐含信息。对这些挖掘出的隐含信息进行分析,可以提高网络提供的服务质量,有助于网络性能管理等。贝叶斯网络是目前不确定知识和推理领域最有效的理论模型之一。本文将贝叶斯网络运用于网络日志挖掘,为从网络日志中找出潜在的有用的信息,进行方法框架的尝试研究,以有助于网络管理时做出正确的决策,提高网络服务质量。型网络日志,以达到预测网络流量的目的。为了挖掘这么大的数据集,本文首先用一些准则过滤和归并了数据集,并通过进一步地离散化,把原始的数据集转化为用于贝叶斯网络学习的规整的数据集。然后针对单个小时和一天的数据分别采用基于评分的方法加上����搜索算法和贝叶斯网络增量学习方法学习出贝叶斯网络模型,在构造出的贝叶斯网络的基础上通过计算变量间的条件概率来预测网络流量。大量的测试结果表明,预测网络流量的正确率从�%左右到�%左右,导致这些差异的可能原因包括:预处理数据的离散化技术,从巨数据集学习贝叶斯网络的具体方法,数据本身的噪声处理方法等。本文为挖掘巨量真实的网络日志提供了有益的尝试。关键词:贝叶斯网络;网络日志挖掘;流量预测;增量学习作者:陈佳敏指导教师:吕强用贝叶斯网络挖掘网络同志的研究与实现
用贝叶斯网络挖掘网络同志的研究与实现���������,��������:��������������琣�����.������猻������,������������甀��������.�����甌�����,������瑆������瑃�������.�����%��%.����.���,���������琲����:����琲�����琻���
插图一个贝叶斯网络结构............................����缃峁梗�������������������������������缃峁梗��������������������������������基于�打分函数学习得出的贝叶斯网络结构。.............第一天数据增量学习得到的网络结构...................第二天数据增量学习得到的网络结构...................第三天数据增量学习得到的网络结构...................三天单个小时数据集预测准确率比较图..................用贝叶斯网络挖掘网络日志的研究与实现����
表格����网络学习分类........。..................�每天日志文件的统计信息..........................��每小时日志文件的统计信息........................�地址转换成域名后属性取值比较���������������������刂纷;怀捎蛎�笫粜匀≈当冉�...................Ⅲ地址转换成域名后属性取值比较����������������������属性值离散化前后取值比较�������������������������第一天单个小时数据集的预测正确率...................��第二天单个小时数据集的预测正确率...................��第三天单个小时数据集的预测正确率...................��三天数据集的预测正确率..........................用贝叶斯网络挖掘网络日志的研究与实现���
算法����算法...............................��算法..................................用贝叶斯网络挖掘网络同志的研究与实现�
毳娆研究生签名:煎§羔蛆苏州大学学位论文独创性声明及使用授权的声明学位论文独创性声明期:垫墨:��羔学位论文使用授权声明本人郑重声明:所提交的学位论文是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含其他个人或集体已经发表或撰写过的研究成果,也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体,均已在文中以明确方式标明。本人承担本声明的法律责任。苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国社科院文献信息情报中心有权保留本人所送交学