Elasticsearch聚集查询之指标聚集

聚集查询（Aggregation）提供了针对多条文档的统计运算功能，它不是针对文档本身内容的检索，而是要将它们聚合到一起运算某些方面的特征值。

聚集查询与SQL语言中的聚集函数非常像，聚集函数在Elasticsearch中相当于是聚集查询的一种聚集类型。比如在SQL中的avg函数用于求字段平均值，而在Elasticsearch中要实现相同的功能可以使用avg聚集类型。

聚集查询的格式

聚集查询也是通过_search接口执行，只是在执行聚集查询时使用的参数是aggregations或aggs。所以_search接口可以执行两种类型的查询：

1. 通过query参数执行DSL
2. 通过aggregations执行聚集查询

这两种查询方式还可以放在一起使用， 执行逻辑是先通过DSL检索满足查询条件的文档，然后再使用聚集查询对DSL检索结果做聚集运算。

聚集查询有着比较规整的请求结构，具体格式如下:

"aggregations/aggs" : {
"<聚集名称>":{
"<聚集类型>":{
<聚集体>
}
………
[,"aggregations/aggs" : ( [ <子聚集>]+ ) ]
}
[,"<聚集名称>”: (...) ]*
}
1
2
3
4
5
6
7
8
9
10

aggregations和aggs都是_search的参数，其中aggs是agregations的简写。每一个聚集查询都需要定义一个聚集名称，并归属于种聚集类型。聚集名称是用户自定义的， 而聚集类型则是由Elasticsearch预先定义好。聚集名称会在返回结果中标识聚集结果，而聚集类型则决定了聚集将如何运算。比如前面提到的avg就是一种聚集类型。这里要特别强调的是，聚集中可以再包含子聚集。子聚集位于父聚集的名称中，与聚集类型同级，所以子聚集的运算都是在父聚集的环境中运算。

Eaticsarch对子聚集的深度没有限制，所以理论上说可以包含无限深度的子聚集。

聚集查询的类型

聚集类型总体上被分为四种大类型：

• 指标聚集（Metrics Aggregation）：根据文档字段所包含的值运算某些统计特征值，如平均值、总和等，它们的结果一般都包含一个或多个数值，前面提到的avg聚集就是指标聚集的一种。
• 桶型聚集（Bucket Aggregation）：根据一定的分组标准将文档归到不同的组中，这些分组在Elasticsearch 中被称为桶（Bucket），桶型聚集与SQL中group by的作用类似，一般会与指标聚集嵌套使用。
• 管道聚集（Pipeline Aggregation）：可以理解为聚集结果的再聚集，它一般以另一个聚集结果作为输人，然后在此基础上再做聚集。
• 矩阵聚集（Matrix Aggregation）：是Elasticsearch中的新功能，由于是针对多字段做多种运算，所以形成的结果类似于矩阵。

指标聚集

指标聚集是根据文档中某一字段做聚集运算，比如计算所有产品销量总和、平均值等等。指标聚集的结果可能是单个值，这种指标聚集称为单值指标聚集；也可能是多个值，称为多值指标聚集。

平均值聚集

平均值聚集是根据文档中数值类型字段计算平均值的聚集查询，包括avg聚集和weighted_avg聚集两种类型。

avg聚集直接取字段值后计算平均值，而weighted_avg聚集则会在计算平均值时添加不同的权重。

avg聚集计算平均值，例如计算航班的平均延误时间：

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "avg_aggs": {
      "avg": {
        "field": "FlightDelayMin"
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10

使用了请求参数fiter_path将返回结果的其他字段过滤掉了，否则查询的结果中将包含kibana_sample_data_flights索引中的文档。加了filter_path之后返果为:

{
  "aggregations" : {
    "avg_aggs" : {
      "value" : 47.33517114633586
    }
  }
}
1
2
3
4
5
6
7

在返回结果中，aggregations是关键字，代表这是聚集查询的结果。其中的delay_avg则是在聚集查询中定义的聚集名称，value是聚集运算的结果。在示例中运算航班延误时间时会将所有文档都包含进来做计算，如果只想其中一部分文档参与运算则可以使用query参数以DSL的形式定义查询条件。

例如只计算了飞往中国的航班平均延误时间：

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "query": {
    "match": {
      "DestCountry": "CN"
    }
  }, 
  "aggs": {
    "avg_aggs": {
      "avg": {
        "field": "FlightDelayMin"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "avg_aggs" : {
      "value" : 44.73996350364963
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

在示例中请求_search接口时，同时使用了query与aggs参数。在执行检索时会先通过query条件过滤文档，然后再在符合条件的文档中运算平均值聚集。

加权平均值聚集

weighted_avg无非就是根据某些条件对进行聚集的数据进行加权运算，和avg聚集没有本质差别。

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "query": {
    "match": {
      "DestCountry": "CN"
    }
  },
  "aggs": {
    "avg_aggs": {
      "weighted_avg": {
        "value": {
          "field": "FlightDelayMin"
        },
        "weight": {
          "field": "DistanceKilometers"
          }
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "avg_aggs" : {
      "value" : 42.29622477052496
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

计数聚集

计数聚集用于统计字段值的数量，类似于SQL中的count。

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "count": {
      "cardinality": {
        "field": "DestCountry"
      }
    },
    "distinct_count": {
      "value_count": {
        "field": "DestCountry"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "count" : {
      "value" : 32
    },
    "distinct_count" : {
      "value" : 13059
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

value_count聚集用于统计字段中值的总数，而cardinality用于统计不重复值的总数。

cardinality聚集的算法使用极小内存实现统计结果的基本准确。所以cardinality在数据量极大的情况下是不能保证完全准确的。

极值聚集

极值聚集是在文档中提取某一字段最大值或最小值的聚集，包括max聚集和min聚集。

例如：

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "min_price": {
      "min": {
        "field": "AvgTicketPrice"
      }
    },
    "max_price": {
      "max": {
        "field": "AvgTicketPrice"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "max_price" : {
      "value" : 1199.72900390625
    },
    "min_price" : {
      "value" : 100.0205307006836
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

和聚集

和聚集就是求某个字段的和，类似于SQL中的sum。

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "query": {
    "match": {
      "DestCountry": "CN"
    }
  },
  "aggs": {
    "sum_aggs": {
      "sum": {
        "field": "FlightDelayMin"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "sum_aggs" : {
      "value" : 49035.0
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

统计聚集

统计聚集是一个多值指标聚集，也就是返回结果中会包含多个值，都是一些与统计相关的数据。统计聚集包含stats聚集和extended_stats聚集两种，前者返回的统计数据是一些比较基本的数值，而后者则包含一些比较专业的统计数值。

stats聚集

stats聚集返回结果中包括字段的最小值(min)、最大值(max)、总和(sum)、计数(count) 及平均值(avg) 五项内容。

例如，对机票价格做统计:

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "price_stats": {
      "stats": {
        "field": "AvgTicketPrice"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "price_stats" : {
      "count" : 13059,
      "min" : 100.0205307006836,
      "max" : 1199.72900390625,
      "avg" : 628.2536888148849,
      "sum" : 8204364.922233582
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

extended_stats聚集

extended_stats聚集增加了几项统计数据，这包括平方和、方差、标准方差和标准方差偏移量。从使用的角度来看，extended_stats聚集与stats聚集完全相同，只是聚集类型不同。

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "price_stats": {
      "extended_stats": {
        "field": "AvgTicketPrice"
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "price_stats" : {
      "count" : 13059,
      "min" : 100.0205307006836,
      "max" : 1199.72900390625,
      "avg" : 628.2536888148849,
      "sum" : 8204364.922233582,
      "sum_of_squares" : 6.081113366492191E9,
      "variance" : 70961.85310632498,
      "std_deviation" : 266.38666090163935,
      "std_deviation_bounds" : {
        "upper" : 1161.0270106181636,
        "lower" : 95.48036701160618
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

百分位聚集

百分位聚集根据文档字段值统计字段值按百分比的分布情况，包括pecrentiles聚集和percentile_ranks两种。前者统计的是百分比与值的对应关系，而后者正好相反统计值与百分比的对应关系。

POST kibana_sample_data_flights/_search?filter_path=aggregations
{
  "aggs": {
    "price_percentiles": {
      "percentiles": {
        "field": "AvgTicketPrice",
        "percents": [
          25,
          50,
          75,
          100
        ]
      }
    },
    "price_percentiles_rank": {
      "percentile_ranks": {
        "field": "AvgTicketPrice",
        "values": [
          600,
          1200
        ]
      }
    }
  }
}
输出结果：
{
  "aggregations" : {
    "price_percentiles_rank" : {
      "values" : {
        "600.0" : 45.41644793599837,
        "1200.0" : 100.0
      }
    },
    "price_percentiles" : {
      "values" : {
        "25.0" : 410.01103863927534,
        "50.0" : 640.3872852064159,
        "75.0" : 842.2604821407433,
        "100.0" : 1199.72900390625
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

pecrentiles聚集通过pecrents参数设置组百分比，然后按值由小到大的顺序划分不同区间，每个区间对应一个百分比。percentile_ranks聚集则通过value参数设置组值，然后根据这些值分别计算落在不同值区间的百分比。

以示例返回的结果为例：在pecrentiles返回结果price_percentiles中，"25.0" : 410.01103863927534
代表的含义是25%的机票价格都小于410.01103863927534，其他以此类推。在percentile_ranks返回结果price_percentiles_rank中， "600.0" : 45.41644793599837代表的含义是600.0以下的机票占总机票价格的百分比为
45.41644793599837%。