基于Sphinx MySQL全文检索架构设计.doc

基于Sphinx MySQL全文检索架构设计.doc基于Sphinx+MySQL全文检索架构设计-1/->a刖曰:木文阐述的是一款经过生产环境检验的T力级数据全文检索(搜索引擎)架构。木文只列岀前几章的内容节选,不提供全文内容。在DELLPowerEdge6850服务器(四颗64位InterXeonMP7110N处理器/8GB内存)、RedHatAS4Linux操作系统、、MylSAM存储引擎、key_buffer=1024M环境下实测,单表1000万条记录的数据景(这张MySQL表拥有int、datetime、varchar^text等类型的10多个字段,只有主键,无其它索引),用主键(PRIMARYKEY)作为WHERE条件进行SQL查询,速度非常Z快,。出自俄罗斯的开源全文搜索引擎软件Sphinx,单一索引最大可包含1亿条记录,在1千万条记录情况下的杏询速度为().x秒(毫秒级)。Sphinx创建索引的速度为:创建100力-条记录的索引只需3〜4分钟,创建100()力条记录的索引可以在50分钟内完成,而只包含最新10力条记录的增量索引,重建一次只需几十秒。一、搜索引擎架构设计:1、搜索引擎架构图:基于以上几点,我设计出了这套搜索引擎架构。在生产环境运行了一周,效果非常不错。有时间我会专为配合Sphinx搜索引擎,开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件,用来代替MylSAM引擎,以解决MylSAM存储引擎在频繁更新操作时的锁表延迟问题。另外,分布式搜索技术上已无任何问题。只写操作INSERT/UPDATE/DELETEMySQL^库(InnoDB)PHP+MySQL+Sphinx搜索引華架构图通过SQ适询搜索引芈 —同步Replication^&只有主键,无其它索引搜索引擎专用MySQUSl据库Y同一台服务器运行了两个MySQLA库进程3306端口:MylSAJil+Sphinx存储引李(ffl于搜索查询)3406端口:MylSAM存储引李叢索引擎数据来源)MylSAM表鐵据存储)^SphinxindexerSphinx表(相当于Sphinx客户端)Sphinx守护进程(searchd)•生成索引2、搜索引擎架构设计思路:(1) ^调用方式最简化:尽量方便前端Web工程师,只需要一条简单的SQL语句“SELECT...(=)WHEREquery—即可实现高效搜索。(2) 、创建索引、查询速度快:、SphinxSearch是由俄罗斯人AndrewAksyonoff开发的高性能全文搜索软件包,在GPL与商业协议双许可协议下发行。Sphinx的特征:Sphinx支持高速建立索引(可达10MB/秒,)高性能搜索(在2-4GB的文本上搜索,平均0」秒内获得结果)高扩展性(实测最高可对100GB的文木建立索引,单一索引可包含1亿条记录)支持分布式检索支持基于短语和基于统计的复合结果排序机制支持任意数量的文件字段(数值属性或全文检索属性)支持不同的搜索模式(“完全匹配”,“短语匹配”和“任一匹配”)支持作为Mysql的存储