毕业设计论文-基于相似度的文本聚类方法研究.docx

毕业设计论文-基于相似度的文本聚类方法研究.docx完整毕业论文
本科毕业设计
论文题目：基于相似度的文本聚类方法研究
专 业:
计算机科学与技术
班级学号: 姓 名:
指导教师:
教师职称:
协助指导/联系教师:
教师职称:
摘要
随着计算机的广泛应用和Internet的普及，人们所面对的信息量急剧增长。信息量的增 加给人们带来方便，可同时也带来了一个信息过量的问题。面对浩如烟海、纷繁芜杂的信息, 人们越来越希望能够在对已有的大量数据分析的基础上进行科学研究、商业决策或企业管 理。
在现实世界中，文本是信息最重要的载体，事实上，研究表明信息有80%包含在文本文 档中。面对大量无序的文本数据，为了便于工作的展开，人们经常遇到的一个问题就是，如 何对文本进行分类、比较，评估文本的相关性和重要性，以及发现众多文本的模式与趋势。 采用文本分类可以实现对人量文本的自动分类。文本分类是在分析文本内容的基础上将多篇 文本分成一个或多个类别。财经类网页是我们日常生活屮关注的主要内容。本文以财经类文 本的聚类实现为研究实例，提岀基于文本相似度向量的聚类方法。
关键词：相似度，聚类，财经
摘要 2
一、绪论 3
1问题的提出 3
4
7
二、系统开发工具和开发平台 8
1面向对彖语言 8
2 关于 VC++ 6. 0 11
1编辑器方面的新特性 11
、 编译器、连接器和调试器方面的改进 12
13
13
13
三、 系统分析 13
1文本建模方法 13
2文本聚类算法分析 14
15
15
16
16
17
四、 系统设计与实现 17
17
2界面设计 17
3网页自动获取的实现 18
20
五、 系统测试 21
1测试 21
23
结论 24
致谢 25
参考文献 26
一、绪论
1. 1问题的提出
当今是一个信息爆炸的时代，特别是随着Internet的飞速发展，各
行业都已经在网络上找到了自己的位置，人们越来越有可能通过网络 来获得最新的咨询信息，网络已成为继报纸、电视之后的第3种媒体, 网络改变了我们的生活，电子信息化给人们的阅读带来了革命性的改 变。我们每个人都有通过阅读获得信息的习惯，特别是一些对咨询信 息需求比较紧迫的个人和企业，更加是需要每天通过大量的阅读来寻 找和补充自己需要的信息。但是，网上信息之多已经大大超过来我们 的每天日常的阅读能力，因此为了给人们提供辅助阅读的工具，文本 分类技术的研究已经成为解决该问题的重要捷径之一。特别的是在信 息检索领域文本分类和自动摘要技术的发展更是不可缺少。
人们面对浩瀚的信息海洋，从大规模文本中快速获取所需要信息 的要求，，这 些文档中只有极少数对用户来说是有用的•对这些文档若是采用顺序 组织的方法， 作为一种文档组织方法可以帮助人们从搜索引擎返回的文档中快速 户查找到所需要信息的速度，如对文档进行随机聚类相对于顺序组织 方法来说根本不会提高速度，相反还会降低•所以，提高文本聚类 的有效性一直是文本聚类领域的研究者追求的目标之一

随着互联网的出现，大量的文本信息如潮水般不断涌现，网络已 经成为一个庞大而杂乱无章的桌面图书馆。对海量的文献人们迫切需 要能够自动实现文本的分类处理，在节省时间的同时更好的定位查找 自己需要的文献。有效的信息检索需要有良好的索引和文本内容概 括，文本聚类便是解决这类问题的一种手段。
文本聚类就是将一个训练文献集分成若干称为聚类簇(cluster) 的子集，每个聚类簇中的成员之间具有较大的相似性，而聚类簇之间 的文本具有较小的相似性。文本分类一般是通过统计方法或知识工程 方法来实现的。知识工程方法需要编制大量的推理规则，因此其开发 费用相当昂贵。相比之下，统计方法由于其简单的机制，为大多数实 用文本分类系统所采用。在基于统计的各种分类方法中，它们的共同 点是从文本中提取词汇信息，并以特征向量的形式来表示文本。基于 以向量来表示的文本，聚类算法有很多种，本文是通过在特征向量中 选取代表点来完成聚类的。在日常生活、生产、科研、工作中，经常 要对被研究的对象分类。研究和