ElasticSearch｜ES 查询性能调优记录_elasticsearch query filte 查询 优化

已更新整合到新文章：https://dataartist.blog.csdn.net/article/details/130139631

---

优化方法 1：将 ES 的 query 查询语句改为 filter 过滤语句

样例：

{
    "query": {
        "term": {
            "field_name": "field_value"
        }
    }
}
1
2
3
4
5
6
7

{
    "query": {
        "bool": {
            "filter": {
                "term": {
                    "field_name": "field_value"
                }
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11

查询性能变化：

优化内容 2：在无超时风险的情况下，增加每次 scroll 获取的记录数

在查询测试用例 2 时，将每次 scroll 获取的记录数从 1000 增加到 10000。

查询性能变化：

优化内容 3：在 ES 查询中增加按 _doc 排序

在 ElasticSearch 的官方文档中，说明了 _doc 表示按索引顺序排序，也是最高效的排序方法。如果不关心返回文档的顺序的话，那么就应按 _doc 进行排序以提高查询性能。这在 scroll 时格外有效。（https://www.elastic.co/guide/en/elasticsearch/reference/8.6/sort-search-results.html）

样例：

{
    "query": {
        "bool": {
            "filter": {
                "term": {
                    "field_name": "field_value"
                }
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11

{
    "query": {
        "bool": {
            "filter": {
                "term": {
                    "field_name": "field_value"
                }
            }
        }
    },
    "sort": ["_doc"]
}
1
2
3
4
5
6
7
8
9
10
11
12

查询性能变化：

优化内容 4：在查询宽表档案时不再返回两个无效字段

查询性能变化：

备注

测试用例特征描述如下：

参考资料：

• ES 性能调优，这可能是全网最详细的 Elasticsearch 性能调优指南
• ES之六：ElasticSearch中Filter和Query的异同
• Elasticsearch 通过Scroll遍历索引，构造pandas dataframe 【Python多进程实现】
• Elastic 官网：Scroll