赞
踩
目前项目中的日志查询 功能 由于长年累月的写入,目前已经达到千万级,对日志进行like 查询,速度可想而知。
此处只讨论 在数据库的优化。
当时 想到两个方案,一个是分区,一个 是全文检索。
分区的话,如果跨区,速度也会很慢,并且对区粒度的划分也得考虑,并且既然使用 like ‘%XX%’,必然不会走索引。
所以 选择 sqlserver 的full-text search 功能,该功能类似一个轻量级搜索引擎。
实现步骤:
1. 首先安装sqlserver时,必须选择安装FULL-Text search功能
2. 创建全文目录,如图,右键 创建即可,
3. 在对应的表或者视图上 定义全文索引:注意 表或者视图 必须存在唯一索引,且视图不能包含union,且每个表或者视图,只能有一个全文索引,步骤:选中 表或者视图 --右键--定义全文索引--下一步,直到 选择索引 界面,如果存在全文索引,则系统默认选中,否则,会提示 无有效索引。
4. 选择索引列 ,第3步ok后,点击 下一步 ,选择需要建立全文检索的列,并选择 断字符语言(就类似切词,搜索引擎嘛)
5. 第4步ok后,下面就是 设置 索引填充规则了,上面都有说明,自己 实际 操作 看一下就行了,然后 下一步,直到 定义填充计划 这个页面,这个干什么的呢。 就是 说 我可以 定义一个job定时进行填充以及填充方式(不能每次都完全填充吧,可以是 增量填充或者基于更改的填充,),next.大功告成。
6 修改 查询 sql : cl like '%xxx%' 改为 contains(cl,'xxx')即可,也可使用 freetext. 剩余 的自己 google吧
知乎: https://zhuanlan.zhihu.com/albertwang
微信公众号:AI-Research-Studio
下面是赞赏码
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。