短文本相似度计算在用户交互式问答系统中应用.pdf

中国科学技术大学博士学位论文短文本相似度计算在用户交互式问答系统中的应用研究与应用作者姓名:宋万鹏学科专业:计算机系统结构导师姓名:顾乃杰教授刘文印博士完成时间:二○一○年四月十五日University of Science and Technology of ChinaA dissertation for doctor’s degreeApplications of Short TextSimilarityAssessmentinUser-interactiveQuestion AnsweringAuthor’s Name:Wanpeng puter ArchitectureSupervisor: LiuFinished time:April 15th, 2010/知识问答网中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外,论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。作者签名:___________ 签字日期:_______________中国科学技术大学学位论文授权使用声明作为申请学位的条件之一,学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权,即:学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅,可以将学位论文编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。□公开□保密(____年)作者签名:_______________导师签名:_______________签字日期:_______________签字日期:_______________/知识问答网摘要I摘要随着互联网的迅速发展和Web ,问答(Question Answering)系统逐渐成为一种新的信息检索技术。和传统的搜索引擎返回大量相关文档不同,问答系统直接返回给用户精确的答案,从而省去了用户从大量相关的文档中去寻找自己所需信息的时间。尽管如此,传统的自动问答系统仍然难以满足人们的需要,这是因为机器的理解能力有限,往往不能很好的理解人们提出的问题,因而难以产生令人满意的答案。正因为如此,用户交互式问答(User-interactive Question Answering,也叫社区问答)系统应运而生。和传统的自动问答系统不同,用户交互式问答系统给广大用户提供了一个基于互联网的平台,使得人们可以自由的在网上进行提问和回答,从而实现人与人之间的互相帮助。由于答案都是由人来提供,而人的理解能力远远强于机器,因而答案的质量相比自动问答就有了明显的提高。短文本相似度计算在用户交互式问答系统中具有举足轻重的作用,因为问题和答案都是短文本的形式,进行问题和答案的处理必然要涉及到对问题及答案语义的理解及相似度的判断。短文本相似度计算在用户交互式问答系统中的应用主要包括常见问题自动问答、问题自动分类以及答案聚类。本文围绕这几方面的应用进行了深入研究,研究内容和创新之处如下:首先,提出了一种基于语义空间计算问题相似度的方法来解决常见问题的自动问答。该方法通过系统累积的问题构造一个语义空间,将问题映射到该空间中计算问题相似度。通过语义空间,问题信息能够得到更好的表示,从而使得问题相似度的计算更加精确。此外,该方法还通过特征聚类去除了冗余信息,提高了计算效率。其次,提出了一种新的基于相似度计算的问题自动分类的方法。该方法从累积的问题集中抽取出一些重要的词(Term)作为特征来构造一个特征空间并将每个类别用特征空间中的一个向量来表示。对于每个用户问题,首先也将其映射到特征空间中,然后计算问题和各个类别的相似度,最终将具有较高相似度的几个类别推荐给用户。此外,该方法还利用语义模板对问题中和主题相关的词进行识别并增加其权重,从而更好的表示了问题信息。最后,提出了一种有效的对同一个问题的答案进行聚类的方法。该方法按照内容或语义将同一问题下的所有答案进行聚类。此外,还为每个类选出一个代表性的答案提供给用户,这样用户通过这些代表答案就能快速的把握所有答案主要的信息。该方法包含两个重要组成部分:答案相似度计算方法和聚类算法。对于/知识问答网摘要II答案相似度计算,提出了一种结合统计信息和语义信息的计算方法;对于聚类算法,提出了一种增长式的聚类算法来降低时间复杂度。关键词:用户交互式问答系统短文本相似度自动问答问题分类答案聚类/知识问答网AbstractIIIABSTRACTWith