Elasticsearch Aggregations使用总结_es aggregation 分页

1.前言

最近需要基于ES做一些统计分析的报表，所以对其聚合功能做了一些了解，发现功能挺强大，能够从大量数据中对指标做一些复杂的统计分析，而且只需简单的调用一个API就能实现，这里将学习和使用的过程做个简单的总结。

2. Aggregations基础

掌握Aggregations需要明白的两个主要概念：
桶（Buckets）：满足特定条件的文档的集合，类似于SQL中的group by。
指标（Metrics）：对桶内的文档进行统计计算，类似于SQL中的count()、sum()、max()等聚合函数。
每个聚合都是由一个或者多个桶和零个或者多个指标的组合而成。 Metric Aggregations常用的有min、max、avg、sum、cardinality等，Bucket Aggregations常用的有terms、range、histogram等。下面是一个聚合的例子：

{
    "size": 0, 
    "aggs": {
        "grade": {
            "terms": {
                "field": "grade"
            }, 
            "aggs": {
                "avg_score": {
                    "avg": { "field": "score" } }
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

其语义类似这个sql语句：select grade,avg(score) from table group by grade。
Elasticsearch使用一个叫doc values的数据结构来做聚合，是一种列式存储的正向索引。doc values是持久化存储在文件中，并且是预先构建的,也就是数据进入到Elasticsearch时，就会同时生成反向索引和doc values，这会消耗额外的存储空间，但对于JVM的内存需求会大幅度减少，剩余的内存可以留给操作系统的文件缓存使用。

3.常见问题

3.1 多个filed的聚合
类似SQL中要group by多个字段，其实aggregation的bucket的嵌套（桶中桶）也相当于聚合多个filed。另外还有下面两种方式：1.在aggregation中可以通过script来实现。假设现在有两个field f和g，则aggregation如下：

"aggs": {
    "t": {
        "terms": {
            "script": "doc['f'].values + doc['g'].values"
        }
    }
  }
1
2
3
4
5
6
7

2.也可以通过copy_to在索引建立期间将多个filed合并成一个，然后只对这一个filed做aggregation：

"mappings": {
    "test": {
      "properties": {
        "f": {
          "type": "string",
          "index": "not_analyzed",
          "copy_to": "f_and_g"
        },
        "g": {
          "type": "string",
          "index": "not_analyzed",
          "copy_to": "f_and_g"
        },
        "f_and_g": {
          "type": "string",
          "index": "not_analyzed"
        }
      }
    }
  }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

"aggs": {
    "t": {
      "terms": {
        "field": "f_and_g"
      }
    }
  }
1
2
3
4
5
6
7

3.2 aggregations不支持分页查询
出于性能等各方面因素的考虑，Elasticsearch Aggregations是不支持分页查询的，具体可以见：
https://github.com/elastic/elasticsearch/issues/4915

3.3 分析对聚合的影响
如果字符串字段是analyzed的，在indexing时会被分词器切割成多个tokens，而doc values不能用于分析字符串，在做比如terms这样的聚合时，会使用一种被称为fielddata 的数据结构统计出一些意料之外的结果。解决办法是再为该字段定义multifield并且设置成not_analyzed：

"mappings": {
    "data": {
      "properties": {
        "filed_name" : {
          "type": "string",
          "fields": {
            "raw" : {
              "type": "string",
              "index": "not_analyzed"
            }
          }
        }
      }
    }
  }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

"size" : 0,
  "aggs" : {
    "t" : {
        "terms" : {
            "field" : "field_name.raw" 
        }
    }
  }
1
2
3
4
5
6
7
8

与doc values不同，fielddata 构建和管理 100% 在内存中，常驻于 JVM 内存堆。这意味着它本质上是不可扩展的，有很多边缘情况下要提防。fielddata 是 所有 字段的默认设置。但是 Elasticsearch 已迁移到 doc values 以减少 OOM 的几率。分析的字符串是仍然使用 fielddata 的最后一块阵地。 最终目标是建立一个序列化的数据结构类似于 doc values ，可以处理高维度的分析字符串，逐步淘汰 fielddata。