基于Sphinx MySQL全文检索架构设计.doc

基于Sphinx MySQL全文检索架构设计.doc基于Sph i nx+MySQL全文检索架构设计
前言：
本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出 前几章的内容节选，不提供全文内容。
在 DELL PowerEdge 6850 服务器（四颗 64 位 Inter Xeon MP 7110N 处理器 / 8GB 内存、 RedHat AS4 Linux 操作系统、MySQL 、MylSAM 存储引擎、key_buffer=1024M 环境 下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等 类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条 件进行SQL查询，速度非常之快，。
出自俄罗斯的开源全文搜索引擎软件Sphinx ,单一索引最大可包含1亿条记录，在1千万 （毫秒级）。Sphinx创建索引的速度为：创建100万条记 录的索引只需3〜4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新 10万条记录的增量索引，重建一次只需几十秒。
基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有 时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的 MySQL存储引擎插件，用来代替MylSAM引擎，以解决MylSAM存储引擎在频繁更新操 作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。
1、搜索引擎架构图:
一、搜索引擎架构设计:
PHP + MySQL+Sphinx搜索引拿架构图
只写操作 INSERT/UPD
"7^
1
ATE/DELETE
*
MySQL主库 dnnoDB)
同步(repli cati on)
通过SQ请询搜素引擎
只有主键，无其它索引 搜索引擎专用MySQI^I据库
S 3406
同一台服务器运行了两个MySQLA库进程3306端口 ： MylSAM+Sphinx存储引擎狎于搜索查询）
3406端口 ： MylSAM存储引擎叢索引擎数据来源）
定时查询数据源
MylSAM表
徴据存储）
Sphinx 表
（相当于Sphinx
客户端）
GSphinX indexer主索引J 1 増量索引 卩
Sphinx守护进程（searchd） »监听3312端口
生成索引一
2、搜索引擎架构设计思路：
（1） 、调用方式最简化：
尽量方便前端Web工程师，只需要一条简单的SQL语句"SELECT ... FROM myisam_table JOIN sphinx_table ON （=） WHERE query='...';^^ 即可实现 高效搜索。
（2） 、创建索引、查询速度快：
、Sphinx Search是由俄罗斯人Andrew Aksyonoff开发的高性能全文搜索软件包，在GPL 与商业协议双许可协议下发行。
Sphinx的特征:
Sphinx支持高速建立索引（可达10MB/秒，）