浅析ｗｅｂ日志数据挖掘技术.doc

浅析WEB日志数据挖掘技术
摘要:互联网发展到今天已经成为了人们生活中不可缺少的一部分了,而互联网从某种意义上讲也可以看作是一个庞大的数据库,并且涉及到各个领域。那么在这个庞大的数据库中,教据挖掘技术有什么用武之地呢?本文通过时互联网上数据挖掘的简单论述,说明现在互联网上数据挖掘的一些趋势和相关技术,并且着重分析一下其中一种互联网上数据挖掘的应用方向相关的技术一一Web使用记录的挖掘,
关键词:web数据挖掘;Web日志;数据预处理

一、引言

目前。互联网已经和我们的生活密不可分,它可以说是一个巨大的、分布广泛和全球性的信息服务中心。它涉及新闻、广告、消息信息、金融信息、教育、政府、电子商务和许多其他信息服务。根据有关机构统计,目前互联网的数据以几百兆字节来计算,而且增长速度很快,如果将这个庞大的数据库用一般的统计分析来处理的话,显然是有心无力的。自从数据挖掘技术成功地应用于传统数据库领域之后,人们对于数据挖掘在像互联网数据这样的一些特殊数据源的应用也寄予了厚望,并且做了许多相应的研究和发展了相应的技术。将数据挖掘技术应用到互联网数据上,理论上可行,但是由于互联网自身的特点,也使它面临一些需要克服的技术难点。
可以说,在互联网上应用数据挖掘技术的前途是光明的,但道路也是曲折的。目前互联网上的数据挖掘技术主要根据挖掘的方向一般分为三类:Web内容挖掘,Web结构挖掘和Web使用记录的挖掘。而结构本来就蕴藏在内容中,是内容的骨,因此有些分类方法又分为Web内容挖掘和Web使用记录挖掘。这里按照后一种分类方法来看一下目前的相关技术和应用。

二、技术

(一)Web日志
目前市面上比较流行的Web服务器,例如IIs通常都保存了对Web页面的每一次访问的日志项。它忠实地记录了访闯该Web服务器的数据流的信息。日志文件记录些什么内容还可以根据客户的不同需要。来调整记录些什么信息。
(=)数据挖掘的必要性
通常Web服务器每天都会新开一个日志文件,在流量比较大的网站,这些Web文件的大小往往达到几百兆甚至更多,因此要能有效地分析和处理这些日志文件,用数据挖掘技术是最好不过了。对于简单的网站结构,可能分析处理一个Web的日志文件就可以了,但是通常对于一些比较大的门户网站来说,一个门户网站往往是好几十个甚至上百个web服务器组成一个集群来对外服务的,在分析这些网站的日志文件时候,就需要采取分布式的Web数据挖掘的复杂技术了。总而言之,对于这种每天都会产生这么大量的数据的日志文件,数据挖掘可以起到很好的效果。
(三)基于简单结构的Web日志挖掘方案
Web服务器的简单结构是指那些访问量不是很多,一般只有一个Web服务器组成的网站。对于这些简单结构的Web服务器,分析的原始数据往往就是一个Web日志文件。一般来说,对于这种情况和传统的数据挖掘的处理手法有类似的地方,也大致可以分开原始数据预处理。挖掘算法和模式分析几个主要的步骤。
数据预处理是一个十分关键的步骤,根据不同的业务,不同的情况,将海量的原始数据中抽取需要的数据,并且对于不完整的数据还需要做些处理等。Web日志挖掘的数据预处理包括依赖域的数据净化、用户识别、会话识别和路径补充等。对日志进行预处理的结果直接影响到挖掘算法产生的规则与模式。因