Web日志挖掘技术研究.pdf.pdf

南京航空航天大学
硕士学位论文
Web日志挖掘技术研究
姓名:李甲林
申请学位级别:硕士
专业:计算机应用技术
指导教师:王建东
20081201
南京航空航天大学硕士学位论文
摘要
随着效地访问相关信息正变得
越来越困难。对于网站的设计者来说,如何适应用户的访问需求来调整网站的内容与结构,也
是一个非常有挑战性的任务。正是在这种情况下,Web 数据挖掘技术应运而生。
Web 日志挖掘是目前 Web 数据挖掘中非常重要的一个研究领域和研究方向。Web 站点的服
务器日志数据记录了浏览用户对此 Web 站点访问时的大量路径。通过分析和发现 Web 日志记
录中的规律,我们可以挖掘出 Web 用户潜在的使用规律和模式。这方面的研究成果可被广泛应
用于发现电子商务中的潜在客户、提高 Web 服务的质量和效率以及优化企业信息门户性能等领
域。
本文从分析数据挖掘技术入手,着重研究如何利用 Web 日志挖掘技术分析日志得到用户对
网站的访问模式。首先系统地介绍了数据挖掘和 Web 数据挖掘的基本概念和方法。然后针对
Web 日志挖掘,重点研究了 Web 日志数据预处理技术。关联规则挖掘是数据挖掘研究的一项重
要内容。本文分析了 Web 日志中关联规则的经典挖掘算法 Apriori 算法及其不足之处,提出了
基于矩阵约简技术的关联规则挖掘改进算法 Apriori_BMR。新算法采用布尔矩阵来存储事务数
据库,利用一定的约简规则来逐步约简事务数据矩阵,有效地解决了 Apriori 算法迭代产生频繁
项集的瓶颈问题。实验表明,新算法比 Apriori 算法具有更高的效率和性能。


关键词:Web 日志;Web 数据挖掘;关联规则;Web 日志预处理
I
Web 日志挖掘技术研究
Abstract
With the explosive growth of knowledge available on the World Wide Web,it es much more
difficult for users to access relevant information efficiently and it also presents a challeging task for
web designers anize site contents to meet the needs of in this case,Web data minging
technology arises at the historic mement.
Recently,Web log mining is a very important direction and domain in Web data mining area. The
Web log file records massive path information of could diseover the rule and pattern of the
potential Web users through analyzing and finding out the rules in the web log. Research in this area
could be widely used in diseovering the potential customers in e-business and improve the quality and
efficiency of the enterprise information portal.
The thesis begins with analyzing the data mining technolygy and focus on how to make use of the
Web log mining technology to get the customer's access to the website pattern. Firstly,we have
introduced the basic concept and method of data mining and web we analysis the
characteristic of web logs and study thoroughly the technology of preprocess of web logs. Mining
association rul