基于Web日志挖掘的网站访问分析系统的设计与实现.pdf

天津大学
硕士学位论文
基于Web日志挖掘的网站访问分析系统的设计与实现
姓名:李振红
申请学位级别:硕士
专业:计算机软件与理论
指导教师:许林英
20090501
中文摘要关键词:甧罩就诰颍現狦惴ǎ没Ь卣缶劾嗨惴ǎ痉梦史治国内企业信息化建设为企业业务的展开和效率的提高带来了不可磨灭的贡献。随着站点访问量的增多,服务器负荷增加,导致页面访问延迟增加,影响了企业的工作效率,罩就诰蚣际跷U庑┪侍馓峁┝私饩龇桨浮Mü訵日志进行有效的数据挖掘,发掘隐藏在日志数据背后的规律和模式,有利于网站设计人员掌握用户的喜好和访问习惯,从而优化核心页面集代码,改善点结构及页面间的超链接结构,改进站点整体性能。本文在查阅国内外大量关于罩就诰蛭南鬃柿系幕∩希岷现薪惶津航道局有限公司韵录虺铺旌骄的实际需求,讨论了针对天航局的网站访问分析系统的设计与开发,给出了系统的物理体系结构、软件体系结构、系统总体的功能设计和数据库设计。,,.经过性能比较,指出改进算法的性能在时间上得到了提高。通过对基于关联矩阵的聚类算法进行分析,提出改进的用户矩阵聚类算法,经过性能的比较,指出了改进算法的性能在时间和空间上的提高。在算法研究的基础上,本文进一步详细介绍了系统的罩驹ご砟?椤⒒痉治瞿?椤⒛J椒⑾模块的设计与实现,并使用该系统对真实的服务器日志文件进行挖掘,给出了分析结果。ⅲ魑L旌骄諻日志的分析工具,目前已投入使用,取得了很好的效果。通过对罩就诰蚣际醯募绦芯浚笠涤τ玫不断深入,本系统可进一步完善和提高。系统
,,甌琣籛疭,瓸瑄..;—’.瑃疭甀甶疭
签字日期叼年么月弓日论碍茁学位论文作者签每夕拿乖囊学位论文作者签名‘碴≮签字日期:越舯哆年占月弓日签字日期陕弈甓嘣卤Γ独创性声明学位论文版权使用授权书或撰写过的研究成果,也不包含为获得苤鲞盘鲎或其他教育机构的学位或证本学位论文作者完全了解丞鲞盘鲎有关保留、使用学位论文的规定。特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。C艿难宦畚脑诮饷芎笫视帽臼谌ㄋ得导师签名:
第一章绪论研究背景自世纪年代以来,随着数据库技术的迅速发展以及数据库管理系统的广泛应用,人们积累的各种数据越来越多。目前,数据库系统的主要类型是用户通过查询语言、用户界面、查询处理优化和事务管理,来方便灵活的获取已有数据。爆炸式增长的数据背后隐藏着许多重要的信息,人们希望能够对其进行更高层次的分析,发现数据中存在的关系和规则,将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用,包括市场分析壅┘觳狻⒐丝保有、产品控制和科学探索等。基于以上原因,数据挖掘技术应运而生,引起了信息产业界和整个社会的极大关注。近年来,随着诹髁俊⒐婺:透丛佣确矫娴姆伤僭龀ぃ溆τ帽椴新闻、广告、科研、教育、商业、金融、军事等各个领域,网上的数据资源以每月%的速度不断增加,佣晌4⒋妗⒎⒉技盎袢⌒畔⒌淖钪匾5脑靥濉邪囊趁婺谌菪畔ⅰ⒊唇有畔⒁约坝没Х梦实娜罩拘畔⒍嘉J萃诰提供了丰富的数据资源。然而,面对庞大繁杂的互联网海量信息,多数用户会有些“无所适从煌杂谄笠道此担磕晖度氪罅孔式鸾⒆约旱耐居糜发布信息、实施产品服务和开展网上电子商务等活动,目的是为了及时了解这些投资产生的效益和作用,以便及时改进服务策略,获取更多的商业机会,为用户提供更优质的服务。那么,如何有效的了解用户的需要,帮助他们从浩瀚的信息海洋中找到适合他们的信息资源,就成为了一项亟待解决的课题。于是,当数据挖掘技术与互联网应用研究相结合时就出现了当今很活跃也很重要的一个研究领域———挖掘萃诰蚴且幌钭酆霞际酰婕癢、数据挖掘、计算机语言学、信息学等多个领域。萃诰蚓褪谴覹文档、疃谐槿「行巳さ摹潜在的有用模式和隐藏信息。诰蚩梢栽诤芏喾矫娣⒒幼饔茫缍运阉饕的结构进行挖掘、确定权威页面、罩就诰颉⒅悄懿檠取本身是半结构化或无结构的数据,缺乏机器可理解的语义,并且存在大量的冗余和噪声。然而,衿鞯娜罩救从凶殴潭ǖ慕峁梗虼耍赪挖掘中,最重要的应用就是罩就诰颍赐ü诰騑服务器上的日志文件,可以构造出用户的行为模式,发现用户的浏览习惯,根据用户的行为模式改进站点的设计和服.
—。务,根据不同用户提供个性化服务,发现潜在用户群体,为企业制定更有效的