Redis 全文检索及使用示例

序言

Redis 除了我们所熟知的缓存功能之外，还通过 RedisJSON、RediSearch、RedisTimeSeries、RedisBloom 等模块支持了 JSON 数据、查询与搜索（包括全文检索、向量搜索、GEO 地理位置等）、时序数据、概率计算等等扩展功能。这些模块既可以按需导入，也被全部打包到了 Redis Stack 中方便我们直接使用。

本文将会简述如何使用 Redis 进行全文检索。

Redis 全文检索

全文检索

全文检索是一种文本检索技术，其根据用户输入的词语或句子，在大量的文档数据中快速找到相关的内容。

全文检索的核心概念包括：

• 分词：将文档（文本内容）拆分为一个个独立的词。
• 倒排索引：一种索引类型，将词与文档进行关联，以便后续查询。
• 相关度评分：对搜索结果的相关性进行评分。

使用示例

本文将会使用一个公开的电影数据集，构建一个电影搜索系统。

数据集

数据格式如下图所示：

为了行文方便，本文只会使用以下几个字段：

• _id：唯一标识
• title：电影标题
• directors：导演
• genres：电影类型
• summary：内容摘要
• rating：评分

我们使用 Redis 的 JSON 格式存储数，导入数据使用的是 JSON.SET 命令：

JSON.SET movieID:1 $ '{"directors":"马丁·里特","genres":["剧情","动作","西部"],"rating":8.0,"title":"野狼 Hombre","summary":"约翰·罗塞尔自幼是老罗塞尔先生从战俘中带回来并抚养他长大的，但是他生性豪放不羁……"}'
1

需要说明的是，Redis 是一个 key-value 数据库，JSON 只是 value 的格式之一，而 key 总是一个字符串，key 在本文中定义为了 movieID:12345 这种固定前缀加 ID 的格式。

使用 Go 批量导入的部分代码如下：

func BuildDataset() {
	movies, _ := ReadMovieJSON()

	rds := getRedisClient()
	ctx := context.Background()
	for _, v := range movies {
		b, _ := json.Marshal(v)
		if r := rds.JSONSet(ctx, "movieID:"+v.ID, "$", b); r.Err() != nil {
			panic(r.Err())
		}
	}
}
1
2
3
4
5
6
7
8
9
10
11
12

构建索引

为了进行全文检索，我们必须要使用 FT.CREATE 构建索引：

FT.CREATE movies ON JSON
PREFIX 1 movieID:
LANGUAGE Chinese
SCHEMA
	$.title as title TEXT WEIGHT 3
	$.directors.*.name as directors TAG
	$.genres.* as genres TAG
	$.summary as summary TEXT
	$.rating.average as rating NUMERIC
1
2
3
4
5
6
7
8
9

这个命令的意思是：

• 我们基于 JSON 数据创建了一个名为 movies 的索引
• 该索引作用于前缀为 movieID: 的所有 key
• 使用中文分词
• 索引有以下字段：
  • title: 类型为 TEXT，权重为 3
  • directors: 类型为 TAG
  • genres: 类型为 TAG
  • summary: 类型为 TEXT
  • rating: 类型为 NUMERIC

索引是独立存在的，删除索引不会影响原始 key-value 数据。
在创建完索引之后，新增或修改的文档会同步构建索引，而对于创建索引之前已有的文档则会在后台异步构建索引。

使用全文检索

检索基础

• 全文检索（任何字段包含爱情）:

FT.SEARCH movies '爱情'
1

• RETURN 返回指定字段:

FT.SEARCH movies '爱情'
    RETURN 2 title directors
1
2

• HIGHLIGHT 高亮:

FT.SEARCH movies '爱情'
    RETURN 2 title directors
    HIGHLIGHT FIELDS 1 title TAGS <span> </span>
1
2
3

• SORTBY 指定字段排序:

FT.SEARCH movies '爱情'
    RETURN 3 title directors rating
    SORTBY rating DESC
1
2
3

• LIMIT offset num 分页:

FT.SEARCH movies '爱情'
    RETURN 3 title directors rating
    SORTBY rating DESC
    LIMIT 0 10
1
2
3
4

• TEXT 指定字段全文检索（电影标题含有爱情）:

FT.SEARCH movies '@title:爱情'
    RETURN 2 title directors
1
2

• Tag 字段匹配（导演是马丁·里特）:

FT.SEARCH movies '@directors:{马丁·里特}'
    RETURN 2 title directors
1
2

多条件组合

• OR（类型是剧情或者动作）:

FT.SEARCH movies '@genres:{剧情|动作}'
    RETURN 2 title directors
1
2

• AND（类型是剧情或者动作且评分大于等于8.0）:

FT.SEARCH movies '(@genres:{剧情|动作})(@rating:[8.0,+inf])'
    RETURN 3 title directors rating
1
2

前缀后缀、模糊搜索

FT.SEARCH movies '@title:爱*' RETURN 1 title
FT.SEARCH movies '@title:*情' RETURN 1 title
FT.SEARCH movies '@title:*命*' RETURN 1 title
FT.SEARCH movies '@title:%人生%' RETURN 1 title
1
2
3
4

自定义分词

与 Elasticsearch 对比，Redis 中的自定义分词这块支持比较有限，主要是：

• 停用词：FT.CREATE 命令中的可选参数 STOPWORDS，将会影响分词
• 同义词：FT.SYNUPDATE 命令
  • 构造同义词：FT.SYNUPDATE movies group1 爱情 凌虚
  • 那么 FT.SEARCH movies '爱情'
  • 等价于 FT.SEARCH movies '凌虚'

自定义打分

Redis 只是提供了可选几种不同的打分算法：

• TFIDF（默认使用）
• TFIDF.DOCNORM
• BM25（Elasticsearch 使用的打分算法）
• DISMAX
• DOCSCORE
• HAMMING

FT.SEARCH movies '爱情' RETURN 0
    WITHSCORES
    SCORER BM25
1
2
3

如果你想要其它的自定义打分，则只能通过编写扩展的方式实现了，扩展必须用 C 语言或者与 C 有接口的编程语言来写。

索引别名

为底层索引创建一个索引别名，在搜索时则使用索引别名，如果数据需要重建索引，那么只需要将索引别名指向新的底层索引即可，这种情况下搜索端不会受到任何影响。

• 创建索引别名：

FT.ALIASADD aliasName movies
1

• 使用索引别名进行搜索：

FT.SEARCH aliasName '爱情' RETURN 0
1

• 更新索引别名：

FT.ALIASUPDATE aliasName anotherIndex
1

• 删除索引别名：

FT.ALIASDEL aliasName
1

Go 示例代码

使用的是 go-redis 库:

func cmdStringToArgs(rdscmd string) (result []interface{}) {
	re := regexp.MustCompile(`\s+`)
	slice := re.Split(rdscmd, -1)
	for _, v := range slice {
		if v != "" && v != " " {
			result = append(result, v)
		}

	}
	return
}

func ExcuteCommand(rdscmd string) {
	rds := getRedisClient()
	ctx := context.Background()

	args := cmdStringToArgs(rdscmd)

	res, err := rds.Do(ctx, args...).Result()
	if err != nil {
		panic(err)
	}
	fmt.Println("RESULT:", res)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

测试代码：

func TestExcuteCommand(t *testing.T) {
	cases := []string{
		// 全文检索（任何字段包含爱情）:
		`FT.SEARCH movies '爱情'`,

		// RETURN 返回指定字段:
		`FT.SEARCH movies '爱情' RETURN 2 title directors`,

		// ......
	}
	for _, v := range cases {
		ExcuteCommand(v)
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

总结

相较于 Elasticsearch 这个全文搜索领域的榜一大哥，Redis 支持的功能特性比较少（例如自定义分词和打分），但是基本的全文检索功能也都具备了。

笔者曾见过只有几十万数据却整了三台 Elasticsearch 集群的情况，这实在是大炮打蚊子、严重浪费资源。如果数据体量比较小，而且检索的使用场景也比较简单，那么使用 Redis 不仅足够，在性能方面还能有更大的优势。

---

参考资料：

• https://redis.io/docs/latest/develop/interact/search-and-query/
• https://redis.io/docs/latest/commands/ft.create/
• https://redis.io/docs/latest/commands/ft.search/