基于关联分析的Web日志挖掘.doc

基于关联分析的Web日志挖掘.doc摘要 1关键词 1Abstract 1Keywords 1一、 Web日志挖掘 2(一) 、数据预处理 2(二) 、模式发现 4(三) 、模式分析 5二、 关联分析 5(一) 关联规则 5(二) Apriori方法简介 7四、 实证分析 8(一) 数据预处理 8(二) 模式发现 9(三) 模式分析 10五、 个性化推荐 11六、 结束语 12参考文献 13附录 15基于关联分析的Web日志挖掘摘要:web日志挖掘是web数据挖掘中的一个重要组成部分,通过从Web访问日志中发现用户的访问模式,预测用户的浏览行为。本文主要介绍了web数据挖掘的一般过程及方法,对Apriori关联分析方法作了重点阐述,并利用该方法对某网站某天的部分webH志数据进行了实证分析,得出了用户浏览模式及网页内容之间的关联规则,找到单个用户在浏览页面兴趣爱好以及群体用户的浏览习惯,继而对网站的网页规划布局提出了个性化的意见。关键词:web0志挖掘;关联分析;实证分析WebLogMiningBasedOnAssociationAnalysisAbstract:Weblogminingisanimportantpartofwebdatamining,findingtheuser'esslogs,theresearchercanpredicttheuser',espacallythemethodofApriori,atthesametime,weusethismethodtoanalysisaparticularsite^slogdatatofindtheusers9browsingpatternsandassociationrulesbetweenwebpages;Italsofindsthebrowsinginterestofasingleuserandgroupsusers'browsinghabits,allafterthen,:Weblogmining;Associationanalysis;Positiveanalysis随着t也前所未有地改变着我们的生活,数据信息已经在这个时代爆炸了。但是,我们又不得不面对“人们被数据淹没,人们却饥饿于知识”的现实。随着兴起与20世纪80年代末的数据挖掘在web上的应用,从某种程度上改善了上述情况。根据所挖掘的Web数据的类型,可以将Web数据挖掘分为以下三类:Web内容挖掘(WebContentMining).Web结构挖掘(WebStructureMining).Web使用挖掘(WebUsageMining)(也称为Web日志挖掘)。Web日志挖掘是指采用数据挖掘的技术,通过对Web服务器日志中大量的用户访问记录深入分析,发现用户的访问模式和兴趣爱好等有趣、新颖、潜在有用的以及可理解的未知信息和知识,用于分析站点的使用情况,从而辅助管理和支持决策。当前,web日志挖掘主要被用于个性化服务与定制、改进系统性能和结构、站点修改、商业智能以及web特征描述等诸多领域。—、Web日志挖掘Web日志挖掘主要是通过对web浏览的日志数据的分析,发现用户的浏览模式,更好地规划站点。下面是一段日志:①2006-10-1700:00:00②③ 80④GET⑤/favicon,ico⑥Mozilla/+(Windows;+U;+Windows+NT+;+;+rv:)+Gecko/20060426+Firefox/:①访问时间;②用户IP地址;③访问的URL,端口;④请求方法(“GET”、“POST”等);⑤访问模式;⑥agent,即用户使用的操作系统类型和浏览器软件。Web日志挖掘一般都包含以下几个过程:(一)数据预处理数据预处理是Web日志挖掘的首要环节,其任务是将原始日志数据转换成适合数据挖掘和模式发现所必需的格式,预处理可以直接简化数据挖掘过程,使结果更具客观性。数据预处理包括数据净化、用户识别、会话识别、路径补充四个步骤。数据净化数据净化,是指将待处理的日志数据导入到关系数据库,删除Web日志数据中的错误值、缺失值等,同时把与Web数据挖掘无关的变量或数据进行清理,已达到简便运算的目的;用户识别用户识别,是从Web日志数据中找出每个用户的访问地址,避免挖掘的重复性。目前,由于本地缓存、代理服务器和防火墙的存在,为用户动态的分配IP地址,想要识别出每