当前位置:   article > 正文

ES入门七:索引管理Api的使用

ES入门七:索引管理Api的使用

索引设置

在传家索引的时候,可以在“settings”字段中指定索引的位置。numbers_of_shards和nubmer_of_replicas 是索引非常重要的两个配置,设置它们值的示例如下:
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们还可以动态修改索引的位置,其示例如下:
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
如上示例,我们设置了索取test_index拥有2个副本分片。但值得注意的是,numbers_of_shards设定后是无法改变的,要修改索取的分片数量可以通过Reindex Api或者收缩索引的Api做处理

定义索引的Mapping

在创建索引的时候,可以设置索引的Mapping。其示例如下:
image.png
如上示例,使用“mapping”字段可以指定创建索引时的Mapping设置

如果增加了某些需求,想要增加索取的Mapping的设置,其示例如下:
image.png
需要记住,在Mapping中定义好的字段时不能修改的,如果修改将会返回404

Reindex Api

上面提到,如果Mapping中字段已经定义就不能修改其字段的类型属性了,同时也不能改变分片的数量,如果需求上必须我们修改的时候怎么办哪?可以使用Reindex Api来解决这个问题

我们需要先创建一个新的索引,使其Mapping等设置满足新的需求,然后将数据从旧的索引中迁移到新的索引。Reindex Api的使用示例如下:

# 删除索引,如果存在的话
DELETE test_index

# 创建索引
PUT test_index
{
  "mappings": {
    "properties": {
      "test_id": { "type": "keyword" },
      "test_name": { "type": "keyword" }
    }
  }
}

# 插入数据
PUT test_index/_doc/1
{
  "test_id": "123",
  "test_name": "name tes"
}

# 创建新的索引,并且满足需求
PUT test_index_reindex
{
  "mappings": {
    "properties": {
      "test_id": { "type": "keyword" },
      "test_name": { "type": "text" }
    }
  }
}

# 执行 reindex 操作
POST _reindex
{
  "source": { "index": "test_index" },
  "dest": { "index": "test_index_reindex" }
}

# 在迁移数据后的 test_index_reindex 索引中获取数据
GET test_index_reindex/_doc/1

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42

需要注意的是,如果索引中的数据很多,并且是需要同步返回的情况下,在Kibana中执行这个操作可能会发生超时的现象。可以使用wait_for_completion=false参数来进行异步操作,其示例如下:

# 异步地执行 _reindex
POST _reindex?wait_for_completion=false
{
  "source": { "index": "test_index" },
  "dest": { "index": "test_index_reindex" }
}

# 结果
{
  "task" : "26d0dAjcRYygigd0shfz5w:35995695"
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

如上示例,异步的reindex操作返回的结果将是一个task_id,可以使用Task Api查看这个任务的情况:

GET /_tasks/26d0dAjcRYygigd0shfz5w:35995695

  • 1
  • 2

索引模板

可以使用 Index templates 按照一定的规则对新创建的索引进行Mapping设定和Settings设定。需要注意的是,索引模版只在索引被创建的时候起作用。创建一个模版:

PUT /_index_template/my_tmp1
{
  "index_patterns" : ["tmp_*"], # 以tmp_ 开头的索引都引用这个模板
  "priority" : 1, # 指定优先级, 数值越大优先级越高, 这个模板就越先被应用
  "template": {
    "settings" : {
      "number_of_shards" : 3
    },
    "mappings": {
      "date_detection": false
    }
  }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

如上示例,我们创建了一个索引的模版,当以后有tmp_开头的索引创建都引用这个模版,会设置number_of_shard为3和Mappin的date_detection为false。

模版中的“priority”指定了模版的优先级,其数值越大优先级越高,这个模版就越先被应用

打开和关闭索引

当我们需要执行某些操作的时候,需要关闭索引或者打开索引,可以使用_close Api和_open Api来关闭或者打开索引

关闭索引的操作开销很小,并且会阻塞读写操作,关闭后的索引不再允许执行打开状态是的所有操作。关闭和打开索引的示例如下:
** **

# 关闭索引
POST /test_index/_close

# 打开索引
POST /test_index/_open

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

判断索引是否存在

当我们知道一个索引是否存在的时候,可以使用Exist Api来判断索引是否存在,其示例如下:

HEAD test_index

  • 1
  • 2

如上示例,如果索引存在,可以返回的HTTP状态码为200,不存在的话为404

收缩索取

如果我们一开始创建的索引其分片太多,可以使用收缩索引的Api 将索引收缩为具有较少主分配的新索引

**收缩后的新索引的主分配数量必须为源索引主分配数量的一个因子。**例如,源索引的主分片分配了12个,那么收缩的新索引的主分片为1、2、3、4、6
在进行索引收缩前需要进行以下操作:

  1. 源索引必须只读
  2. 源索引索引的副本(主分片也行、副分片也行),必须在同一个节点上,也就是在这个节点上必须有这个索引的全部数据,不管分片数据是主分片的还是副本分片的。
  3. 源索引的状态必须为健康状态(green)

下面的示例我们将拥有12个主分片,2个副本分片的索引(test_index)收缩为拥有3个主分片和1个副分片的索引(test_index_new)
新创建索引 test_index,设置 number_of_shards=12, number_of_replicas=2

# 删除索引,如果存在的话
DELETE test_index

# 创建索引
PUT test_index
{
  "mappings": {
    "properties": { "test_name": { "type": "keyword"} }
  },
  "settings": {
    "number_of_shards": 12, 
    "number_of_replicas": 2
  }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

创建后的索引,在Cerebro中查看如下:
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下面将索引test_index 所有的主分片转移到节点 my_node_1上,并且设置索引的副本分片数量为0,设置这个索引为只读:

PUT /test_index/_settings
{
  # 分片分配到 my_node_1 节点
  "index.routing.allocation.require._name": "my_node_1",
  "index.number_of_replicas": 0,
  "index.blocks.write": true  
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

ok,这个时候 test_index满足收缩索引的3个条件了,下面开始收缩:

POST /test_index/_shrink/test_index_new
{
  "settings": {
    "index.number_of_replicas": 1,
    "index.number_of_shards": 3,
    "index.routing.allocation.require._name": null, # 系统随机分配分片
    "index.blocks.write": null # 不阻塞写操作
  }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

如上示例,我们设置新索引的主分片数量为3,每个主分片的副本数量为1,并且这些分片是系统自动、随机分配的,不阻塞新索引的写操作

最终在Cerebro可以看到,这两个索引的信息如下:
image.png

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号