es 搜索中同时包含 “query“ 和 “filter“ 子句_es filter

Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。

一、Query DSL 与 Filter DSL

DSL查询语言中存在两种：查询DSL（query DSL）和过滤DSL（filter DSL）。

它们两个的区别如下图：

query DSL

在查询上下文中，查询会回答这个问题——“这个文档匹不匹配这个查询，它的相关度高么？”

如何验证匹配很好理解，如何计算相关度呢？ES中索引的数据都会存储一个_score分值，分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

查询上下文 是在 使用query进行查询时的执行环境，比如使用search的时候。

一些query的场景：

• 与full text search的匹配度最高
• 包含run单词，如果包含这些单词：runs、running、jog、sprint，也被视为包含run单词
• 包含quick、brown、fox。这些词越接近，这份文档的相关性就越高

filter DSL

在过滤器上下文中，查询会回答这个问题——“这个文档匹不匹配？”

答案很简单，是或者不是。它不会去计算任何分值，也不会关心返回的排序问题，因此效率会高一点。

过滤上下文 是在使用filter参数时候的执行环境，比如在bool查询中使用Must_not或者filter

另外，经常使用过滤器，ES会自动的缓存过滤器的内容，这对于查询来说，会提高很多性能。

一些过滤的情况：

• 创建日期是否在2013-2014年间？
• status字段是否为published？
• lat_lon字段是否在某个坐标的10公里范围内？

二、es中filtered和filter的区别

1. bool 和 filtered

1.1 说明
es 5.0版本更新后，filtered的查询将替换为bool查询。

filtered是比较老的的版本的语法。现在目前已经被bool替代。推荐使用bool。

https://www.elastic.co/guide/en/elasticsearch/reference/5.0/query-dsl-filtered-query.html

1.2 示例使用
老版本写法，在es8 中使用老版本写法报错。

GET _search
{
  "query": {
    "filtered": {
      "query": {
        "match": {
          "text": "quick brown fox"
        }
      },
      "filter": {
        "term": {
          "status": "published"
        }
      }
    }
  }
}

新版本的写法

GET _search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "text": "quick brown fox"
        }
      },
      "filter": {
        "term": {
          "status": "published"
        }
      }
    }
  }
}

2. filter的两种用法

嵌套在bool下

{
    "query":{
        "bool":{
            "must":{
                "term":{
                    "term":{
                        "title":"kitchen3"
                    }
                }
            },
            "filter":{
                "term":{
                    "price":1000
                }
            }
        }
    }
}

在根目录下使用

{
    "query":{
        "term":{
            "title":"kitchen3"
        }
    },
    "filter":{
        "term":{
            "price":1000
        }
    }
}

区别

三、高级搜索关键词

（Filter DSL部分）

1.term 过滤

term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： 

{ "term": { "age":    26           }} 
{ "term": { "date":   "2014-09-01" }} 
{ "term": { "public": true         }} 
{ "term": { "tag":    "full_text"  }}

完整的例子， hostname 字段完全匹配成 saaap.wangpos.com 的数据：

{ 
  "query": { 
    "term": { 
      "hostname": "saaap.wangpos.com" 
    } 
  } 
}

2.terms 过滤

terms 跟 term 有点类似，但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值，那么文档需要一起去做匹配：

{ 
    "terms": { 
        "tag": [ "search", "full_text", "nosql" ] 
        } 
}

完整的例子，所有http的状态是 302 、304 的， 由于ES中状态是数字类型的字段，所有这里我们可以直接这么写。：

{ 
  "query": { 
    "terms": { 
      "status": [ 
        304, 
        302 
      ] 
    } 
  } 
}

3.range 过滤

range过滤允许我们按照指定范围查找一批数据：

{ 
    "range": { 
        "age": { 
            "gte":  20, 
            "lt":   30 
        } 
    } 
}

范围操作符包含：

gt :: 大于
gte:: 大于等于
lt :: 小于
lte:: 小于等于
一个完整的例子， 请求页面耗时大于1秒的数据，upstream_response_time 是 nginx 日志中的耗时，ES中是数字类型。

{ 
  "query": { 
    "range": { 
      "upstream_response_time": { 
        "gt": 1 
      } 
    } 
  } 
}

4.exists 和 missing 过滤

exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段，类似于SQL语句中的IS_NULL条件. 

{ 
    "exists":   { 
        "field":    "title" 
    } 
} 

这两个过滤只是针对已经查出一批数据来，但是想区分出某个字段是否存在的时候使用。

5.bool 过滤

bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑，它包含一下操作符：

must :: 多个查询条件的完全匹配,相当于 and。
must_not :: 多个查询条件的相反匹配，相当于 not。
should :: 至少有一个查询条件匹配, 相当于 or。

这些参数可以分别继承一个过滤条件或者一个过滤条件的数组：

{ 
    "bool": { 
        "must":     { "term": { "folder": "inbox" }}, 
        "must_not": { "term": { "tag":    "spam"  }}, 
        "should": [ 
                    { "term": { "starred": true   }}, 
                    { "term": { "unread":  true   }} 
        ] 
    } 
}

（Query DSL部分）
 

1.match_all 查询

可以查询到所有文档，是没有查询条件下的默认语句。

{ 
    "match_all": {} 
}

此查询常用于合并过滤条件。 比如说你需要检索所有的邮箱,所有的文档相关性都是相同的，所以得到的_score为1.

2.match 查询

match查询是一个标准查询，不管你需要全文本查询还是精确查询基本上都要用到它。

如果你使用 match 查询一个全文本字段，它会在真正查询之前用分析器先分析match一下查询字符：

{ 
    "match": { 
        "tweet": "About Search" 
    } 
}

如果用match下指定了一个确切值，在遇到数字，日期，布尔值或者not_analyzed 的字符串时，它将为你搜索你给定的值：

{ "match": { "age":    26           }} 
{ "match": { "date":   "2014-09-01" }} 
{ "match": { "public": true         }} 
{ "match": { "tag":    "full_text"  }}

提示： 做精确匹配搜索时，你最好用过滤语句，因为过滤语句可以缓存数据。

match查询只能就指定某个确切字段某个确切的值进行搜索，而你要做的就是为它指定正确的字段名以避免语法错误。

3.multi_match 查询

multi_match查询允许你做match查询的基础上同时搜索多个字段，在多个字段中同时查一个：

{ 
    "multi_match": { 
        "query":    "full text search", 
        "fields":   [ "title", "body" ] 
    } 
}

4.bool 查询

bool 查询与 bool 过滤相似，用于合并多个查询子句。不同的是，bool 过滤可以直接给出是否匹配成功， 而bool 查询要计算每一个查询子句的 _score （相关性分值）。

must:: 查询指定文档一定要被包含。
must_not:: 查询指定文档一定不要被包含。
should:: 查询指定文档，有则可以为文档相关性加分。

• must：必须匹配每个子查询，类似“与”
• should：选择性匹配子查询，类似“或”
• must_not：必须不匹配，不参与算分，类似“非”
• filter：必须匹配，不参与算分

以下查询将会找到 title 字段中包含 "how to make millions"，并且 "tag" 字段没有被标为 spam。 如果有标识为 "starred" 或者发布日期为2014年之前，那么这些匹配的文档将比同类网站等级高：

{ 
    "bool": { 
        "must":     { "match": { "title": "how to make millions" }}, 
        "must_not": { "match": { "tag":   "spam" }}, 
        "should": [ 
            { "match": { "tag": "starred" }}, 
            { "range": { "date": { "gte": "2014-01-01" }}} 
        ] 
    } 
}

提示： 如果bool 查询下没有must子句，那至少应该有一个should子句。但是 如果有must子句，那么没有should子句也可以进行查询。

上面内容来自： http://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html 

ElasticSearch 查询（match和term） 
http://www.cnblogs.com/yjf512/p/4897294.html

5.wildcards 查询

使用标准的shell通配符查询

参考： https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-wildcard-query.html

以下查询能够匹配包含W1F 7HW和W2F 8HW的文档： 

GET /my_index/address/_search 

{ 
    "query": { 
        "wildcard": { 
            "postcode": "W?F*HW" 
        } 
    } 
}

又比如下面查询 hostname 匹配下面shell通配符的：

{ 
  "query": { 
    "wildcard": { 
      "hostname": "wxopen*" 
    } 
  } 
}

6.regexp 查询

假设您只想匹配以W开头，紧跟着数字的邮政编码。使用regexp查询能够让你写下更复杂的模式： 

GET /my_index/address/_search 
{ 
    "query": { 
        "regexp": { 
            "postcode": "W[0-9].+" 
        } 
    } 
}

这个正则表达式的规定了词条需要以W开头，紧跟着一个0到9的数字，然后是一个或者多个其它字符。

下面例子是所有以 wxopen 开头的正则

{ 
  "query": { 
    "regexp": { 
      "hostname": "wxopen.*" 
    } 
  } 
}

参考： https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-regexp-query.html

7.prefix 查询

以什么字符开头的，可以更简单地用 prefix，如下面的例子：

{ 
  "query": { 
    "prefix": { 
      "hostname": "wxopen" 
    } 
  } 
}

参考 ： https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html 

更多的查询命令，可以看： https://www.elastic.co/guide/en/elasticsearch/reference/current/term-level-queries.html#term-level-queries

8.短语匹配(Phrase Matching)

当你需要寻找邻近的几个单词时，你会使用match_phrase查询：

GET /my_index/my_type/_search
{
    "query": {
        "match_phrase": {
            "title": "quick brown fox"
        }
    }
}

和match查询类似，match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条，但只保留含有了所有搜索词条的文档，并且词条的位置要邻接。一个针对短语quick fox的查询不会匹配
我们的任何文档，因为没有文档含有邻接在一起的quick和box词条。
match_phrase查询也可以写成类型为phrase的match查询：

"match": {
    "title": {
        "query": "quick brown fox",
        "type":  "phrase"
    }
}

参考：https://blog.csdn.net/kingmax54212008/article/details/105169016/

https://blog.csdn.net/weixin_39723544/article/details/103676958

https://blog.csdn.net/lucky_ly/article/details/116855624