说说 Elasticsearch filter 和 post_filter 的区别？

作者：繁依Fanyi0 | 2024-07-13 04:57:13

踩

es filter postfilter

1、线上问题

如上所示，问题是：“把 green 这个条件放到 query 里面做一个 bool 查询，有什么不一样吗？”

2、拿官方样例飞行数据举例

这个问题涉及到：filter（过滤器）和 post_filter（后过滤器）的区别，我们拿官方样例索引：kibana_sample_data_flights 做一样演示。

3、filter 过滤+聚合的场景

直接上 DSL，检索条件为：过滤目标城市为：CO（缩写代号）的数据，然后以目标天气执行聚合操作。本质是：先过滤后聚合。


POST kibana_sample_data_flights/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "DestCountry": "CO"
          }
        }
      ]
    }
  },
  "aggs": {
    "terms_aggs": {
      "terms": {
        "field": "DestWeather",
        "size": 10
      }
    }
  }
}

召回结果如下（忽略检索部分，只保留聚合）：

4、在filter 基础上加 post_filter 场景


POST kibana_sample_data_flights/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "DestCountry": "CO"
          }
        }
      ]
    }
  },
  "post_filter": {
    "term": {
      "FlightDelay": true
    }
  },
  "aggs": {
    "terms_aggs": {
      "terms": {
        "field": "DestWeather",
        "size": 10
      }
    }
  }
}

原有的：filter + 聚合没有变化，在此基础上加了：post_filter。

聚合部分结果如下图所示，对比发现，和第2部分结果一致。

但是，我们再查看检索部分的结果，我们用：beyondcompare 软件对比一下，发现基本没有相同的。

仔细梳理检索结果，如下截图所示：

初步得出结论：

post filter ：不影响聚合结果。
post filter：是在检索+聚合之后，对已有数据再次进行的过滤。所以，不影响聚合结果。

5、把 post filter 过滤条件移动到 filter 内部会怎么样呢？

检索语句为：


POST kibana_sample_data_flights/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "DestCountry": "CO"
          }
        },
        {
          "term": {
            "FlightDelay": true
          }
        }
      ]
    }
  },
  "aggs": {
    "terms_aggs": {
      "terms": {
        "field": "DestWeather",
        "size": 10
      }
    }
  }
}

直接看聚合结果：很明显聚合结果完全不一样！为什么？

检索条件更加细化了，样本值减少了，所以聚合数据结果各项都少了很多

初步结论：filter 过滤+聚合操作，本质是先 filter 过滤，然后再聚合操作。聚合是在已有 filter 过滤基础上执行的。

6、post_filter 还可以自定义评分


POST kibana_sample_data_flights/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "DestCountry": "CO"
          }
        }
      ]
    }
  },
  "post_filter": {
    "term": {
      "FlightDelay": true
    }
  },
  "rescore": {
    "window_size": 50,
    "query": {
      "rescore_query": {
        "term": {
          "FlightDelay": true
        }
      },
      "query_weight": 0.7,
      "rescore_query_weight": 12
    }
  }
}

在已有评分基础上，二次评分，这属于用户自定义评分的范畴。

7、小结

filter，应用于带 filter 子句的布尔查询，搜索请求后 filter 过滤条件对检索和聚合都产生影响。
post_filter，应用于执行检索之后或者聚合之后，可以看做“后过滤器”，对检索或聚合之后的结果集再进行过滤，只检索结果受影响。