基于云计算的分布式智能语义搜索方法研究.pdf

摘 要
随着互联网技术的迅猛发展，网络中的信息也随之快速地递增。在带给人们
更多信息的同时，也大大的增加了互联网企业的运营和管理成本。为了解决这个
问题，人们提出了一种新型的 IT 技术发展、部署以及商业模式，这就是云计算技
术。目前，云计算技术已经在网络存储、搜索引擎、分布式计算、电子商务、社
交网络等多个领域获得了广泛应用，并且取得了快速发展。但是，云计算还没有
一个权威性的定义和统一的标准，各大 IT 公司都在各自的业务领域独自研究。搜
索引擎是互联网行业中进行大规模数据处理的前沿领域，云计算技术在它的发展
过程中将会发挥不可替代的作用。同时传统的搜索引擎采用关键字匹配的技术进
行检索，不能在真正理解用户查询意图的基础上进行搜索，缺乏语义性。因此，
将云计算技术和语言处理技术运用到搜索技术中来，对搜索引擎进行改进，将是
一个很好的方法。
本课题在介绍研究了云计算和搜索技术的基础上，讨论了传统搜索技术的缺
点和不足。从研究和设计的角度出发，研究了一种基于云计算的分布式语义搜索
方法，并着重对基于云计算的分布式存储系统(CDSS)进行深入的研究与设计。
本课题研究工作的先进性主要体现在以下三个方面：
(1).建立了一种基于虚拟环的 consistent hashing 数据分布和定位算法。利
用该算法，系统将加快对数据的存储和访问，同时提高系统的均衡负载能力。
(2).提出了全分布式的数据备份方案。通过该方案，系统可以依托 DHT 网络
的优势，实现数据副本的快速同步与更新，提高数据的可用性、可靠性以及安全
性。
(3).提出了基于 CDSS 的语义搜索算法。通过在基于云计算的分布式存储系统
上覆盖语义层，从而在 DHT 网络中实现语义搜索。

关键词：云计算，分布式存储，Hash 数据分布算法，文本距离算法，语义搜索

I
ABSTRACT
With the rapid development of Internet technology, network information also will
rapidly increase. Networks don't only bring people more information, but also greatly
increase the Internet business operations and management costs. To solve this problem,
people proposes a new type of IT technology development, deployment and business
model, which is cloud computing. At present, cloud computing technology has been
applied widely in network storage, search engines, distributed computing, electronic
commerce, social networking and other fields, and has made rapid development. But,
cloud computing has not an authoritative definition and unified standards, major IT
companies are doing the research alone in their respective area of business. In the
Internet field, the search engine is the forefront of large-scale data processing, cloud
computing technology will play an irreplaceable role in its development process. The
traditional search engines use keyword matching technology to retrieval