数据挖掘论文技术分析.docx

基于 web 日志的数据预处理研究摘要: 为了更加合理地组织 Web 服务器的结构,需要通过 Web Web 日志挖掘中的数据预处理工作关系到挖掘的质量。文章就此进行了深入的研究, 提出一个包括数据净化、用户识别、会话识别和路径补充等过程的数据预处理模型, 并介绍这个过程中一些特殊情况的处理方法。关键词数据挖掘; Web 日志挖掘; 数据预处理 Data Preparation in Web Log Mining Abstract In order anize the web server architecture more logically, Web log mining is needed to analyze user's browsing patterns. This paper studies the data preprocessing phase of Web log mining, which is the key to get good mining result, and presents a data preprocessing model including middle steps like data cleaning, user recognition, session recognition, and path supplementation. Also introduce the solution of some especial problem in this process. Key words Data mining; Web log mining; Data preparation 1 引言近年来, 正以令人难以置信的速度在高速发展,越来越多的机构、团体和个人在 上发布信息、查找信息. 虽然 上有海量的数据,但由于 web 数据是无结构的、动态的, 并且 Web 页面的复杂程度远远超过了文本文档, 人们要想找到自己想要的数据犹如大海捞针一般. 信息检索界开发了许多搜索引擎,但其覆盖率有限,因此查询率低, 一般的搜索引擎是基于关键字的查询, 命中率较低, 另外不能针对特定的用户给出特殊的服务,因为每个人感兴趣的东西是不一样的,因此不具有个性化。解决这些问题的一个途径, 就是将传统的数据挖掘技术和 web 结合起来, 进行 web 挖掘就是从 Web 文档和 Web 活动中抽取感兴趣的潜在的有用模式和隐藏的信息, 挖掘可以在很多方面发挥作用,如对搜索引擎的结构进行挖掘,确定权威页面,文档分类, Web Log 挖掘、智能查询,建立 Meta-web 数据库等[1]。目前,在 web 挖掘研究中, web 日志挖掘是重点领域之一。 Web 日志挖掘技术主要是从 web 服务器和客户端的日志文件中, 挖掘发现用户的浏览行为习惯, 并且日志数据中潜在的有用的规律被挖掘分析出来, 进而为网站企业和决策分析者提供有效的决策参考和为用户提供个性化服务, 从而可以制定相应的营销策略, 改进网站的组织结构和性能, 在同行竞争一中提高自身优势。所以,对 web 日志挖掘知识理论和技术的研究在实际应用中是必不可少的, 且有极高的研究价值。 2 web 日志挖掘研究现状及难点 研究现状自从 1