基于sphinx+mysql的千万级数据全文检索_基于Sphinx+MySQL的千万级数据全文检索(搜索引擎)架构设计...

作者：笔触狂放9 | 2024-04-09 00:49:01

踩

sphinx 千万数据占多大内存

基于Sphinx+MySQL的千万级数据全文检索

[ 文章作者：张宴本文版本： v1.0 最后修改： 2008.07.27 转载请注明原文链接： http://doc.wendoc.com/post/360/] 前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索(搜索引擎)架构。本文只列出前几章的内容节选，不提供全文内容。在 DELL PowerEdge 6850 服务器 (四颗 64 位 Inter Xeon MP 7110N 处理器 / 8GB 内存) 、 RedHat AS4 Linux 操作系统、MySQL 5.1.26、MyISAM 存储引擎、key_buffer=1024M 环境下实测，单表 1000 万条记录的数据量(这张 MySQL 表拥有 int、datetime、varchar、text 等类型的 10 多个字段，只有主键，无其它索引) ，用主键(PRIMARY KEY)作为 WHERE 条件进行 SQL 查询，速度非常之快，只耗费 0.01 秒。出自俄罗斯的开源全文搜索引擎软件 Sphinx，单一索引最大可包含 1 亿条记录，在 1 千万条记录情况下的查询速度为 0.x 秒(毫秒级) 。Sphinx 创建索引的速度为：创建 100 万条记录的索引只需 3～4 分钟，创建 1000 万条记录的索引可以在 50 分钟内完成，而只包含最新 10 万条记录的增量索引，重建一次只需几十秒。基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合 Sphinx 搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的 MySQL 存储引擎插件，用来代替 MyISAM 引擎，以解决 MyISAM 存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。

一、搜索引擎架构设计：搜索引擎架构设计： 1、搜索引擎架构图：、搜索引擎架构图：

2、搜索引擎架构设计思路：、搜索引擎架构设计思路： (1)、调用方式最简化：、调用方式最简化：尽量方便前端 Web 工程师，只需要一条简单的 SQL 语句 “SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。 (2)、创建索引、查询速度快：、创建索引、查询速度快： ①、Sphinx Search 是由俄罗斯人 Andrew Aksyonoff 开发的高性能全文搜索软件包，在 GPL 与商业协议双许可协议下发行。 Sphinx 的特征：的特征： Sphinx 支持高速建立索引(可达 10M

B/秒，而 Lucene 建立索引的速度是 1.8MB/秒) 高性能搜索(在 2-4 GB 的文本上搜索，平均 0.1 秒内获得结果) 高扩展性(实测最高可对 100GB 的文本建立索引，单一索引可包含 1 亿条记录) 支持分布式检索支持基于短语和基于统计的复合结果排序机制

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/389252