中文Web测试集CWT200g之文档集的构建.doc

本科毕业论文评语
学生姓名

学号

成绩
论文题目
中文Web测试集CWT200g之文档集的构建
指导教师意见
同学的毕业设计论文工作涉及信息检索领域中评测集的构建工作,针对中文Web信息检索评测的需求,构建了CWT200g(Chinese Web Test collection with 200 GB web pages )文档集。目前该测试集已经用于SEWM2006中文Web信息检索评测。
CWT系列测试集是针对中文信息检索评估而制作的大规模Web测试集。该测试集的第二版CWT200g不仅相对于CWT100g在容量上提高一倍,还针对CWT100g中存在的问题,加入垃圾站点过滤和网页级别的重复内容过滤,并采取新的网页抓取策略,在提供更大的信息量的同时,保证整个数据集的内容质量。
论文对于CWT200g的种子站点列表制作、垃圾站点消除、抓取策略和后期的消重、采样工作进行介绍。特别对于制作过程中不同于CWT100g的步骤进行了重点分析与讨论。
毕设期间, 同学工作努力,态度积极,按计划完成了任务,表现出一定的自主研发能力和较强的动手能力。
指导教师(签字)
年月日
摘要
在信息检索领域中,信息检索系统评估对于信息检索系统的研究、开发和应用有着显著的影响。大规模的测试集被认为是信息检索系统评估工作的基础,其质量决定着评估工作的效率和评估结果的准确定。
CWT系列测试集是北京大学网络实验室面向中文信息检索评估而制作的大规模网络测试集。该测试集的第二版CWT200g不仅相对于CWT100在容量上提高一倍,还针对CWT100g中存在的主要问题,加入垃圾站点过滤和网页级别的重复内容过滤,并采取新的网页抓取策略,在提供更高的信息量的同时,保证整个数据集的内容质量。本文首先对Web、搜索引擎以及当前被广泛使用的Web测试集进行介绍,然后在对Web上网页分布特点进行分析的基础上,系统介绍了CWT200g的种子站点列表制作、垃圾站点消除、抓取策略和后期的消重、采样工作进行介绍。特别对于CWT200g制作过程中不同于CWT100g的步骤进行了重点分析与讨论。最后,本文对以上工作进行了总结和展望。
关键词
信息检索,CWT200g, 测试集, 文档集.
On the Construction of the Document Set of a Large Scale Collection -- CWT200g
Abstract
In the field of IR (Information Retrieval), the evaluation of IR systems plays an important role and has significant impact on researches, development and applications within the field of IR. Because a large scale test collection is the basis of the evaluation, the quality of the test collection is considered to be a key factor of the effectiveness of the evaluation and the correctness of the results of such evaluation.
The CWT is a series of large scale web test collections presented by Lab of the Peking University which focuses on the Chinese IR researches and evaluation. The CWT200g, the second edition of Chinese Web Test collection, not only has greater volume than CWT100g, but also integrates spam filtering, redundancy filtering and new crawling strategies in to its construction process, in order to deliver quality as well as quantity. With the introduction of World Wide Web, Search Engine and some web test collections that ha