基于点击流的web数据挖掘研究与应用.pdf

安徽大学
硕士学位论文
基于点击流的Web数据挖掘研究与应用
姓名:许艳丹
申请学位级别:硕士
专业:计算机科学与技术
指导教师:李龙澍
201104
摘要一———一垫重随着姆伤俜⒄梗缫丫晌6酝庑约傲私馐澜绲拇翱凇万维网为人们提供丰富信息的同时,也留下了用户浏览页面时的大量访问信息。如何利用这些丰富的数据得到有价值的信息和知识就是我们研究的课题——萃诰颉萃诰蚴鞘萃诰蚣际踉赪环境下的应用,是对文档的内容、可利用资源的使用及资源直接的关系进行分析,以发现有效的、新颖的、潜在有价值的、并且最终可被理解的模式和规则。萃诰蚋菟芯縲对象的不同分为:谌萃诰颉结构挖掘和罩就诰蛉唷罩就诰蚴荳数据挖掘中重要的研究课题之一,罩就诰蛩研究的对象是罩臼荩诰蚪峁梢愿没峁└鲂曰瘛⑼居呕改善系统性能、电子商务网站确定用户群类、为领导提供决策支持。“留下拿恳淮蔚慊鳌5慊髁鞯母拍罡⒅赜没т劳镜娜ü程,一个点击流包含用户的多次点击,在日志文件中对应多条日志记录。通过采集用户在会话期间的点击流,可以用于了解用户都访问了哪些页面,在页面上停留了多长时间,按照什么次序访问的页面等等,从而为研究用户的兴趣提供有价值的资料,为商家了解用户需求,实时改变宣传营销策略,使经济效益最大化。对于生源日益紧张的高校来讲,如何通过网络平台更好的宣传自己,如何吸引广大考生的眼球逐渐成为当前高校招生的重头戏。对于招生宣传的决策层来讲,应该知道哪些地区的用户访问量较大,知道哪些信息点击次数多:对于网站设计者来讲,应该知道什么地方出现了性能瓶颈、安全漏洞,什么样的信息能吸引更多的用户访问等等,因此如何能够快速、准确的在“海量牡慊流信息中获取潜在的用户信息的技术成为了罩就诰虻囊桓鲋氐恪点击流数据仓库日志数据仓库鞘莶挚獾囊桓鲋匾@嘈汀5慊流数据仓库的主要数据来源是镜愕牡慊髁魇荨5慊髁魇莶挚饨ㄉ璧目的是通过收集、整理、转换这些数据,建立针对慊餍畔⒌母髦治龋·······—————————
并结合数据挖掘等技术,进而分析网站用户的行为的潜在有效信息,从而为网站经营者提供决策支持。是微软下一代的数据管理和商业智能平台,在商业智能提供了三大服务,分别是集成服务,⒎治龇捅ū矸侵附荽右滴裣低持谐槿⒆;装载墓獭目的就是对企业的异构数据源中的分散的、标准不统一的数据进行抽取、清洗、转换然后加载到数据仓库中。本文基于点击流的罩就诰蜓芯坑胗τ檬谴覹日志挖掘技术的理论与方法展开研究,研究对象是建立在安徽国防科技职业学院网站系统之上的罩臼荩岷险猩镜氖导适荩⒍哉庑┦萁性ご砗蠼⒁个实验性点击流数据仓库,旨在实现以罩疚J菰矗袢∮没痹谛畔ⅲ为高校如何通过网络高效的推广宣传自己、高校生源情况分析以及为网站管理者进行网站结构优化提供决策支持。本文主要研究的内容如下:褂茫甆语言对点击流数据源进行各种预处理,为点击流数据仓库的建立提供可靠的数据准备,如:日志过滤、用户识别、会话识别等。对于用户识别,本文综合考虑各种方法的优缺点,采用基于和地址的方法。萃诰蚣际醯姆椒ā⒐ぞ哂泻芏啵琒中的一个全新的组件,它提供了构建企业级数据整合应用程序所需的功能和性能且具有可视化调试等特点。本文选择采用基于的数据仓库ぞ咄瓿墒莸某槿⒆;缓图釉毓ぷ鳎⒔溆τ到了安徽国防科技职业学院的招生网站的决策支持和技术分析的应用中。在基本维度的处理上,使用“有道”域名分析接口解决了地址到地区维度的映射。创建了多维数据集,并部署多维数据集数据库中;最后完成了引前端展示。关键词:罩就诰颍慊髁鳎慊髁魇莶挚猓桃抵悄方面,荢肁到,,摘要
韙”瓹鰊Ⅳ甀,甒.,,甌瑆..—..琱
畇畁蘴痵,:,.琧甀,琣,.....疭
.—,—.’.琧,:;:
第一章绪论翁獾难芯勘尘凹耙庖随着姆伤俜⒄梗缫丫晌6酝庑约傲私馐澜绲拇翱凇惨殉晌H嗣腔袢⌒畔⒌闹匾@丛础H嗣窃谕缟匣袢⌒畔⒌耐币会在衿魅罩疚募小傲粝用户的每一次点击,因此为我们带来了“海量挠没菪畔ⅲ颐浅浦5慊髁用户对网页的一次“点击莆R桓鍪挛瘢恳淮蔚慊鞫冀赪服务器日志文件中留有相关记录。用户的一次站点访问被称为用户的一个会话,也就是组成用户访问的一个网站时的特定用户行为的一系列事务称为用户的一个会话。这一系列事务的日志记录揭示了用户在衿上所有的行为以及用户的相关信息,其中包括像用户访问的第一个页面,即登录页面,以及最后一个页面,即离开的页面等表现用户的兴趣和偏好等的信息,同时也会记录用户的浏览器、使用的操作系统、访问时间等用户相关信息。对于生源日益紧张的高校来讲,如何通过网络平台更好的宣传自己,如何吸引广大考生的眼球逐渐成为当前高校招生的重头戏。对于招生宣传的决策层来讲,应该知道哪些地区的用户访问量较大,知道哪些信息点