基于相似度的文本聚类方法研究—计算机毕业设计论文.docx

基于相似度的文本聚类方法研究—计算机毕业设计论文.docx本科毕业设计论文题目:基于相似度的文本聚类方法研究专业:计算机科学与技术班级学号: 姓名: 指导教师: 教师职称:协助指导/联系教师: 教师职称:的普及,人们所面对的信息量急剧增长。信息量的增加给人们带来方便,可同时也带来了一个信息过量的问题。而对浩如烟海、纷繁芜杂的信息,人们越来越希望能够在对已有的犬量数据分析的基础上进行科学研究、商业决策或企业管理。在现实世界屮,文本是信息最重要的载体,事实丄,研究表明信息有80%包含在文本文档中。面对大量无序的文本数据,为了便于工作的展开,人们经常遇到的一个问题就是,如何对文本进行分类、比较,评估文本的相关性和重要性,以及发现众多文本的模式与趋势。采用文本分类可以实现对大量文本的自动分类。文本分类是在分析文本内容的基础上将多篇文本分成一个或多个类别。财经类网页是我们FI常生活小关注的主要内容。本文以财经类文本的聚类实现为研究实例,提出基于文本相似度向量的聚类方法。关键词:相似度,聚类,财经摘要 2一、绪论 41问题的提岀 7二、系统开发工具和开发平台 81面向对象语言 82 关于VC++ 12222、编译器、连接器和调试器方面的改进 13三、 系统分析 141文本建模方法 17四、 系统设计与实现 21五、 系统测试 24结论 26致谢 27参考文献 28一、,的飞速发展,各行业却已经在网络上找到了自己的位置,人们越来越有可能通过网络来获得最新的咨询信息,网络己成为继报纸、电视之后的第3种媒体,网络改变了我们的生活,电子信息化给人们的阅读带来了革命性的改变。我们每个人都有通过阅读获得信息的习惯,特别是一些对咨询信息需求比较紧迫的个人和企业,更加是需要每天通过大量的阅读來寻找和补充自己需要的信息。但是,网上信息之多已经大大超过来我们的每天日常的阅读能力,因此为了给人们提供辅助阅读的工具,文本分类技术的研究已经成为解决该问题的重要捷径之一。特别的是在信息检索领域文本分类和自动摘要技术的发展更是不可缺少。人们面对浩瀚的信息海洋,从大规模文本中快速获取所需要信息的要求,,,•但是文本聚类有效性的高低会直接影响到用户查找到所需要信息的速度,如对文档进行随机聚类相对于顺序组织方法来说根本不会提高速度,相反还会降低•所以,,大量的文本信息如潮水般不断涌现,网络已经成为一个庞大而杂乱无章的桌面图书馆。对海量的文献人们迫切需要能够自动实现文本的分类处理,在节省时间的同时更好的定位查找自己需要的文献。有效的信息检索需要有良好的索引和文本内容概括,文本聚类便是解决这类问题的一种手段。文本聚类就是将一个训练文献集分成若干称为聚类簇(cluster)的子集,每个聚类簇中的成员之间具有较大的相似性,而聚类簇之间的文本具有较小的相似性。文本分类一般是通过统计方法或知识工程方法来实现的。知识工程方法需要编制大量的推理规则,因此其开发费用相当昂贵。相比之下,统计方法由于其简单的机制,为大多数实用文本分类系统所采用。在基于统计的各种分类方法中,它们的共同点是从文本中提取词汇信息,并以特征向量的形式來表示文本。基于以向量来表示的文本,聚类算法有很多种,本文是通过在特征向量中选取代表点来完成聚类的。在口常生活、生产、科研、工作中,经常要对被研究的对象分类。研究和处理给定对象分类的数学方法称为聚类分析(ClusteringAnalysis)。聚类算法是数据挖掘中常用的方法之一。通常可以分为层次式和非层次式两种。本文介绍的是层次式聚类方法。其优点是聚类的形成一般依赖于数据,而不是通过用户预定义的聚类数得到。它通过对初始数据构造一个聚类层次来完成聚类。初始,输入的每个数据点被看成一个单独的聚类簇,然后将成对的聚类簇一一合并,同时依据各聚类簇中各对象间的最大距离应小于各聚类簇之