主题搜索引擎信息抽取技术研究.pdf

墨痤交通戈謦硕士学位论文论文题目:主题搜索引擎信息抽取技术研究徐澄何友全教授工学硕士管理科学与工程日重庆交通大学答辩委员会主席:何世彪教授评阅人:何世彪教授曹建秋副教授分类号单位代码导师姓名、职称:申请学位门类:研究生姓名:论文答辩日期:学位授予单位:密级号专业名称:
学位论文作者签名:符澄学位论文作者签名:箱掺指导教师签名:瑚压二舍指导教师签名:仞是会荩月重庆交通大学学位论文原创性声明驴笕重庆交通大学学位论文版权使用授权书日期:加日期:沙年鲈虏砣本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。阥本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权重庆交通大学可以将本学位论文的全部内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本人学位论文收录到《中国学位论文全文数据库》,并进行信息服务ǖú幌抻诨惚唷⒏粗啤⒎⑿小⑿畔⑼绱úサ,同时本人保留在其他媒体发表论文的权利。日期:本人同意将本学位论文提交至中国学术期刊馀贪电子杂志社系列数据库中全文发布,并按《中国优秀博硕士学位论文全文数据库出版章程》规定享受相关权益。日期:闐月蛋日
摘要网络与信息技术的飞速发展使得互联网成为全球信息传播与共享的重要资源平台。互联网中信息量的几何级数增长,使得从匣袢∮杏眯畔⒌哪讯缺涞越来越大。“信息过载”己经成为一个急待解决的问题。人们迫切需要一种可以像查询数据库一样查询系氖莸木凡檠椒āR虼耍绾斡行У刈橹头析海量的畔⒆试矗又谐槿〕鲇杏玫男畔⒊晌V诙嘌芯抗ぷ飨M饩龅奈题。近年来产生了主题搜索引擎,它是面向专业或主题的搜索引擎,只采集与用户需求相关的信息,帮助其迅速地获取其所需要的知识和信息,这就需要从资源库中抽取出特定的主题相关信息。目前,在主题搜索引擎所涉及的各项关键技术中,结构化信息抽取技术是其不同于通用搜索引擎的关键点。在以往的信息抽取技术中,多是对整个网页进行结构化信息抽取并生成包装器,由此生成的包装器在信息抽取中准确率不高。由于网页中的“非主题’’信息参与了信息抽取的过程,可能会对抽取结果产生干扰,这样会影响最终包装器抽取同类网页的准确率。提高信息抽取的效率和准确率可以较大程度地提高主题搜索引擎的适应性,并且为用户提供高效而且准确的搜索本文就是针对网页中结构化信息的抽取技术进行研究,通过有效可靠的方法来改进和提高信息抽取环节的性能和效率,并尽可能实现自动化信息抽取过程,以此避免人工的过度干预;力求能充分有效的利用各种资源,合理构建信息获取系统的体系结构。本论文研究主要包括以下几个方面的内容:芯縒网页的批量获取方法。为了获取主题搜索引擎所需要的专业领域信息,就必须要从凶ト∠喙匾趁孀魑T甲柿稀1疚难芯苛薟页面抓取所需要的相关技术及抓取子模块的结构,并实现了一个简单的撑孔取器。芯縒网页的去噪方法。由于噪音的存在,严重影响到页面主题内容的识别,从而影响到最终搜索结果的质量和效率。因此清除网页中的噪音内容成为提高搜索引擎精度的重要保证和前提。本文对原有各类网页分块去噪模型的优缺点进行分析,将统计方法融入基于耐撤挚槟P椭校源颂嵘ピ胄Ч芯恐形奈谋镜南蛄勘硎灸P秃吞卣飨蛄康奶崛》椒āN谋咎卣鞅硎镜挠劣直接影响到特征属性的提取,从而影响到后期的文本分类。从以往研究结果来看,向量空间模型的文本特征表示模型中特征词数量的多少与分类算法的效率有结果。效率。
着密切关系,本文研究了特征词的提取方法,分析了基于空间向量模型的几种流行特征提取算法,然后深入研究了惴ú⒍云浼右愿慕蕴岣咚惴ǖ男阅和效果,更好的进行后期的文本分类处理。芯縒网页文本的分类方法。由于车氖颗哟蟆⑷狈煽康谋签信息等特点,对其加以有效利用就必须首先进行自动分类以获取较为可靠的类目标签信息,才能分门别类的进行后续处理。本文在经典朴素贝叶斯算法的基础上进行算法改进和系数调整,并在考虑到谋臼莸奶赜械陌虢峁够氐愕基础上,在分类过程中提取并利用谋镜慕峁剐畔ⅲ源死醇忧糠掷嘈Ч进一步减少分类误差。本文最后对澄谋镜姆掷喾椒ń辛硕员仁笛椋笛榻峁砻鳎闹提出的算法能够有效的提高分类精度,降低运算时间,适用于主题搜索引擎的信息提取。文中最后介绍了设计的主题搜索引擎的信息抽取系统整体架构和子模块的流程图及部分具体实现代码,供今后相关研究者参考。本文的创新点主要在于针对主题搜索引擎的信息抽取需求,提出了改进的网页去噪、网页文本特征提取和分类算法,经过