ES如何提高准确率之【term-centric】_es提高精准度

提高准确率的方法有很多，但是要在提高准确率的同时保证召回率往往比较困难，本文只介绍一种比较常见的情况。

问题场景

我们经常搜索内容，往往不止针对某个字段进行搜索，比如：标题、内容，往往都是一起搜索的。
index结构如下：

{
  "settings": {
    "number_of_shards": "1",
    "number_of_replicas": "0"
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "content": {
        "type": "text",
        "analyzer": "ik_smart"
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

样例数据如下：

{"index":{"_id":1}}
{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}
{"index":{"_id":2}}
{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}
{"index":{"_id":3}}
{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}
{"index":{"_id":4}}
{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}
1
2
3
4
5
6
7
8

现在我要搜索【红色的苹果】，我们人眼看下来，id=1的文档肯定是最佳匹配的。但我们真实搜索结果会怎么样呢？
搜索语句假设如下：

{
    "query": {
        "bool": {
            "should": [
                {
                    "match": {
                        "title": "红色的苹果"
                    }
                },
                {
                    "match": {
                        "content": "红色的苹果"
                    }
                }
            ]
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

上面搜索语句dsl语句看着略微复杂，我们换个写法，效果一样

{
    "query": {
        "multi_match": {
            "query": "红色的苹果",
            "type": "most_fields",
            "fields": [
                "title",
                "content"
            ]
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12

结果：

[
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"2",
        "_score":1.9675379,
        "_source":{
            "title":"红色的番茄",
            "content":"番茄是一种红色的水果，含有各种维生素以及糖分"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"1",
        "_score":1.9362588,
        "_source":{
            "title":"我喜欢的一种水果",
            "content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"3",
        "_score":0.63812846,
        "_source":{
            "title":"樱桃的介绍",
            "content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"4",
        "_score":0.2719918,
        "_source":{
            "title":"不知名介绍",
            "content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"
        }
    }
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

很明显和我们人眼评分肯定是不一样的

思考

问题1：为什么id=2的番茄评分最高？

我们先看下切词

{
    "tokens": [
        {
            "token": "红色",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "的",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "苹果",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

因为番茄中title中有【红色】【的】，content中有【红色】【的】，title和content同时都命中了，所以匹配到了它。

问题2：id=1的content中不仅有【苹果】还有【红色】【的】为什么评分比id=2的番茄低？

因为id=1的title种没有【红色】【的】，尽管id=1的content的匹配度 大于 id=2的content，但是title匹配度不及id=2

问题3：凭什么title分低一点，content分高一点不能把整体评分拉齐？

一般来说title分低，只要content分高，照样总分可以超过其他文档。那这个样例的问题出在哪了呢？

我们再看下样例：

{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}
{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}
{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}
{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}
1
2
3
4

我们发现content中【红色】这个词出现频率非常高。
我们可以想到es的搜索算法中有一个逆向文档频率，它描述的是某个词在所有文档中出现的频率越高，它的权重越低。
回到问题2，content分高一点不能把整体评分拉齐？答案是可以的，但是问题出在了content的分虽然高，但是高的不多，比起title差的远，上面样例中title出现【红色】只有一个而已。

解决方案

方案1 - 调整权重（不建议）

能不能给title权重降低一点？这样就能弥补【红色】权重低的问题了。

• 针对这个样例来说，这样做是可以的。但这仅仅是个样例，现实中我们不能这样去解决问题，因为上面的样例完全可以逆转，让title和content字段互换。难道又要去调整content的权重么？

方案2 - 精确匹配（略微不建议）

上面有个问题就是，id=2的文档中，根本没有【苹果】也被匹配出来了，那么我精确匹配是不是就可以了

{
    "query": {
        "multi_match": {
            "query": "红色的苹果",
            "type": "most_fields",
            "operator": "and",
            "fields": [
                "title",
                "content"
            ]
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13

• and代表所有词都必须匹配，当然也可以使用minimum_should_match，但本文的样例必须使用100%

查询结果：

[
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"1",
        "_score":1.499949,
        "_source":{
            "title":"我喜欢的一种水果",
            "content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"
        }
    }
]
1
2
3
4
5
6
7
8
9
10
11
12

确实我们最希望匹配出来的结果被匹配出来了，并且排在了第一，但是其他不是很相关的文档却没有匹配出来，这降低了召回率。所以这种方案不是特别推荐
备注：这种解决问题的思路是没有问题的，往往这种精确匹配要搭配其他查询条件一起使用，但和本文想讨论的问题不相关，放到其他文章中去介绍。

方案3 - 新建字段（还行）

上面的问题关键在哪呢？
仔细分析可以发现，我们的需求是希望搜索一个query进行多个字段（title、content）的搜索。换句话说，我们其实是希望title和content是一个字段（他们共享TF/IDF），我们并不希望因为某些词在content中出现很频繁，但在title中出现不频繁导致最终评分不符合预期。

根据上面思路，我们是不是可以建一个新字段，把title和content拼接在一起就行了？

{
    "settings":{
        "number_of_shards":"1",
        "number_of_replicas":"0"
    },
    "mappings":{
        "properties":{
            "title":{
                "type":"text",
                "analyzer":"ik_smart"
            },
            "content":{
                "type":"text",
                "analyzer":"ik_smart"
            },
            "title_content":{
                "type":"text",
                "analyzer":"ik_smart"
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

这样做是可以的，但是有两个弊端

1. 业务系统在插入的时候，需要手动把title和content拼接在一起，然后整体写入title_content。
2. es存储空间变大，title和content的内容相当于存了双份

方案4 - 新建字段索引（不错）

怎么解决方案3的这个问题呢？
可以利用copy_to

{
    "settings":{
        "number_of_shards":"1",
        "number_of_replicas":"0"
    },
    "mappings":{
        "person":{
            "properties":{
                "title":{
                    "type":"text",
                    "analyzer":"ik_smart",
                    "copy_to":"title_content"
                },
                "content":{
                    "type":"text",
                    "analyzer":"ik_smart",
                    "copy_to":"title_content"
                },
                "title_content":{
                    "type":"string",
                    "analyzer":"ik_smart"
                }
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

这样es帮我们在插入数据的时候自动把映射的索引copy到了title_content中去。
注意：这里所有的分词器要保持一致
但它同样还有弊端：

1. 在创建索引的时候就必须考虑到这种情况，不然还要刷重刷数据

方案5 - term-centric（推荐）

其实解决办法除了重新刷一遍数据以外，还有别的更加优雅的方式，可以不用在建索引的时候把所有情况考虑到位。
利用cross_fields词中心式的方式来解决

{
    "query": {
        "multi_match": {
            "query": "红色的苹果",
            "type": "cross_fields",
            "fields": [
                "title",
                "content"
            ]
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12

搜索结果：

[
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"1",
        "_score":1.499949,
        "_source":{
            "title":"我喜欢的一种水果",
            "content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"4",
        "_score":0.30932084,
        "_source":{
            "title":"不知名介绍",
            "content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"2",
        "_score":0.2428131,
        "_source":{
            "title":"红色的番茄",
            "content":"番茄是一种红色的水果，含有各种维生素以及糖分"
        }
    },
    {
        "_index":"dong_analyzer_test2",
        "_type":"_doc",
        "_id":"3",
        "_score":0.23682731,
        "_source":{
            "title":"樱桃的介绍",
            "content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"
        }
    }
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

他的原理就是把所有字段当成一个大字段，并在每个字段中查找每个词。
看下es的对cross_fields的分析过程

blended(terms:[title:红色, content:红色]) 
blended(terms:[title:的, content:的]) 
blended(terms:[title:苹果, content:苹果])
1
2
3

可以发现es进行三次大搜索，每次大搜索下面有两次小搜索，每次大搜索都是把切词的结果词进行匹配，每次小搜索都是把当前的切词对title和content进行terms匹配，最后把里层和外层搜索评分相加，得到最终结果。

总结

本文探讨了多字段搜索的时候，每个字段的词频和逆向文档频率不同带来的搜索准确率问题。
问题的根本原因在于：搜索的时候大多数都是针对字段进行搜索，但本文中的情况是希望对词进行搜索。
解决思路也是很简单，就是把多个字段的词频和逆向文档频率整合到一起，当然可以在建立索引的时候整合，也可以搜索的时候进行整合查询。