devbox
神奇cpp
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Elasticsearch的快照_elasticsearch 快照

作者：神奇cpp | 2024-07-30 20:45:31

赞

踩

elasticsearch 快照

ES的快照是什么？

snapshot是一个ES集群或者某个指定索引的备份，快照一般用在

  • 不停机的状态下对ES集群进行备份
  • 当硬件故障时恢复集群数据
  • 用于跨集群的数据迁移
  • 对冷数据或冻结数据做快照以降低存储成本，依赖于可搜索的快照。-收费功能

一个快照包含的内容：

  • 持久的集群配置
  • 索引模板
  • 索引数据
  • 索引生命周期策略
  • 存储的脚本
  • 预处理流水线

ES快照的原理

ES快照的过程就是将指定索引（也可以是整个集群）在磁盘上存储的Lucene文件复制到仓库中。

以一个索引为例，当快照这个索引时，会根据快照时间复制一份这个索引所有segments文件到仓库中，快照未完成前，这些物理文件不可删除，不可移动。如果这个快照是第一次创建，快照时会复制这个索引全部的segments文件；在这之后，再次快照这个索引的内容时，只会复制较上一次快照时新增的segments文件。

除第一次之后的快照都是增量。

快照文件之间在逻辑上独立，当删除一个快照时，只会从库中删除这个所独有的segment文件，而不会删除有其他快照使用的文件。

快照过程中会锁定所有涉及到的segment文件，快照进行中的索引无法迁移分片且segment不可删除。且数据复制只发生在主分片上。

创建快照

创建快照前首行需要注册快照仓库。

查看当前集群的仓库

GET /_cat/repositories

注册快照仓库

快照仓库所支持的类型：

  • fs 文件系统(这里需要共享文件系统）
  • s3 aws s3协议存储
  • gcs 谷歌存储
  • Read-only Url

这里列s3和fs两种仓库的注册案例：

s3对象存储

  1. PUT _snapshot/my_s3_repository
  2. {
  3.   "type": "s3",
  4.   "settings": {
  5.     "client": "my-client",
  6.     "bucket": "my-bucket",
  7.     "endpoint": "my.s3.endpoint"
  8. ///待补充其他参数
  9.   }
  10. }

S3 repository | Elasticsearch Guide [8.14] | Elastic

S3案例：

  1. PUT _snapshot/recovery_snapshot
  2. {
  3.     "type" : "s3",
  4.     "settings" : {
  5.       "bucket" : "",
  6.       "base_path" : "",
  7.       "endpoint" : "",
  8.       "protocol" : "http",
  9.       "compress" : "true",
  10.       "access_key": "",   
  11.       "secret_key": "",   
  12.       "max_restore_bytes_per_sec" : "200mb",  
  13.       "max_snapshot_bytes_per_sec" : "100mb" 
  14.     }
  15.   }

fs文件系统

  1. PUT _snapshot/my_backup
  2. {
  3.   "type": "fs",
  4.   "settings": {
  5.     "location": "/mount/backups/backup"  #这个路径需要提前在配置文件中配置好
  6.   }
  7. }
 

read-only url 只读库
 

使用url文件在集群上注册一个只库的快照仓库：
 

  1. PUT _snapshot/my_backup_read_only
  2. {
  3.   "type": "url",
  4.   "settings": {
  5.     "url": "file:/mount/backups/my_fs_backup_location" #样例为共享文件系统
  6.   }
  7. }
 

url 支持的类型
 

  • file
  • http
  • https
  • jar
 

使用file类型的url时，file后的路径必须在es的配置文件path.repo配置项中指定。其他几个不需要。
 

创建一个快照
 

通过api创建一次性的快照
 

  1. PUT /_snapshot/my_backup/back_snapshot_1
  2. {
  3. "indices": "index1,index2",  #支持多索引语法，如通配符、列表
  4. "ignore_unavailable": true,  #跳过不存在的索引，默认为false
  5. "include_global_state": false  #不快照集群状态，默认为false
  6. }
 

通过快照生命周期管理创建快照
 

如果用快照来定期备份ES集群的数据，使用快照生命周期策略来创建、管理快照。参考附录
 

  1. #全量快照
  2. PUT _slm/policy/s-01
  3. {
  4.   "schedule": "0 0/15 * * * ?",
  5.   "name": "<my-snap-{now/d}>",
  6.   "repository": "my_backup",
  7.   "config": {
  8.     "indices": "*",
  9.     "include_global_state": true
  10.   },
  11.   "retention": {
  12.     "expire_after": "3d",
  13.     "min_count": 5,
  14.     "max_count": 50
  15.   }
  16. }
 

 

使用快照
 

快照的作用一般用于数据备份、故障恢复、跨集群的数据迁移。
 

集群内
 

无论快照用于处理以上哪种情况，快照最终都是在某个集群内部通过restore恢复数据来发挥作用，快照的恢复过程如下：
 

  • 查看当前的集群有哪些快照文件
 

  1. GET _snapshot
  2. #明确哪个仓库的情况下指定仓库名
  3.  
  4. GET _cat/snapshots/my_backup
  5. #或
  6. GET _snapshot/my_backup/*?verbose=false
 

 

  • 恢复前从集群内删除要恢复的索引，避免冲突
 

DELETE index_1
 

  • 从快照恢复index_1的数据
 

  1. POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
  2. {
  3.   "indices": "index_1"  #如果快照中是多个索引，这里可以指定要恢复的列表，逗号分隔
  4. }
 

如不删除现有数据时，可以在恢复时修改索引名。
 

  1. POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
  2. {
  3.   "indices": "index_1",
  4.   "ignore_unavailable": true,
  5.   "include_global_state": false,
  6.   "rename_pattern": "index_(.+)", #匹配要修改索引名的索引
  7.   "rename_replacement": "my_test_$1",  #修改索引名称
  8.   "include_aliases": false
  9. }
 

 

  • 查看快照恢复过程
 

快照恢复过程中，会涉及到分片的复制和分配，恢复过程中，集群状态会出现yellow状态。
 

#查看集群状态

 

GET _cluster/health
 

查看恢复的详情
 

GET index_1/_recovery
 

查看分片的状态
 

GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state
 

恢复完成后，集群转为green状态。
 

 

撤回一个restore
 

可以通过删除索引的方式，取消正在进行的恢复过程。
 

DELETE index_1
 

跨集群(跨版本）
 

在ES集群迁移或者索引跨集群迁移时，需要把一个集群中的快照在另外一个集群中恢复出来。这里需要注册原集群的仓库到新的集群中，如果原集群还在往这个仓库写数据，在新的集群中需要注册为只读库。
 

注册完仓库后，其他操作与集群内的快照恢复操作一致。
 

 

恢复前需要确保新的集群有充足的存储空间。
 

  1. POST _snapshot/my_backup_read_only/my_snapshot_2099.05.06/_restore
  2. {
  3.   "indices": "index_1"  #如果快照中是多个索引，这里可以指定要恢复的列表，逗号分隔
  4. }
 

如果快照中索引是多副本，且不想调整新集群的规格，可以在恢复时调整副本数以节省存储空间。
 

  1. POST _snapshot/my_backup_read_only/my_snapshot_2099.05.06/_restore
  2. {
  3.   "indices": "index_1",
  4.   "index_settings": {
  5.     "index.number_of_replicas": 1  #减少副本数以节省空间
  6.   }
  7. }
 

 

快照跨版本的兼容性
 

如果新集群与老集群版本不一致，需要保证两个版本的快照兼容性，如下图：
 

 

 

 

 

删除快照
 

对于过期的快照，或者不再使用的快照，可以手动从仓库中删除：
 

DELETE /_snapshot/my_backup/snapshot_1
 

因快照时间过长，需要停止正在进行的快照？
 

快照和数据恢复设计只允许同时一个快照进程，或者恢复进程。如果快照执行过程出错，或长时间未结束而需要中止快照进程，可以执行删除快照的动作。删除操作会首先检查快照是否正在进行中，如果正在执行，会先停止快照，然后再把快照文件从库中删除。
 

 

附录：
 

SLM（快照生命周期管理）
 

快照生命周期管理 （公有云上公开发售的es版本不支持）
 

当快照作为一个集群集群的常规备份手段时，再每次写脚本加定时任务的形式去创建快照并且还需要不定期去处理过期的快照文件便显得不是很友好。自7.6版本起，es引入了快照生命周期管理(slm)的功能，类似于ilm(索引生命周期管理)。
 

slm可以通过简单的配置实现规律的创建快照，并根据预设条件删除符合条件的快照文件。 实现对快照创建、删除等整个生命周期的管理。
 

 

slm可以通过kibana界面进行新建：Stack Management > Snapshot and Restore > Policies。
 

 

通过api创建
 

  • 查询集群现有slm策略
 

  1. GET _slm/policy/{policy-id} #指定策略
  2. GET  _slm/policy
 

  • 创建一条策略
 

  1. PUT /_slm/policy/daily-snapshots
  2. {
  3.   "schedule": "0 30 1 * * ?",   # 什么时间创建快照
  4.   "name": "<daily-snap-{now/d}>",   #快照名称
  5.   "repository": "my_repository",  #使用的快照仓库
  6.   "config": { 
  7.     "indices": ["data-*", "important"],  #快照包含哪些索引 
  8.     "ignore_unavailable": false,
  9.     "include_global_state": false
  10.   },
  11.   "retention": { 
  12.     "expire_after": "30d",   #快照保存多长时间
  13.     "min_count": 5,    #最少保留几个版本，不受保存时间限制
  14.     "max_count": 50   #最多保存多少个文件，不受保存时间约束
  15.   }
  16. }
 

schedule时间设置格式
 

<seconds> <minutes> <hours> <day_of_month> <month> <day_of_week> [year]
 

秒 分 小时 天 月 星期几？ 哪年
 

？表示任意一[秒|分|时|天|月|星期几|年]
 

  • 删除一条策略
 

DELETE /_slm/policy/daily-snapshots
 

  • 立即执行策略
 

POST /_slm/policy/daily-snapshots/_execute
 

  • 显示策略统计信息
 

GET /_slm/stats
 

命令汇总
 

  1. #查看当前仓库
  2. GET /_cat/repositories
  3.  
  4. #注册仓库
  5. PUT _snapshot/my_backup
  6. {
  7.   "type": "fs",
  8.   "settings": {
  9.     "location": "/mnt/es/repo"  
  10.   }
  11. }
  12.  
  13. #注册url只读库
  14. PUT _snapshot/my_backup_read_only
  15. {
  16.   "type": "url",
  17.   "settings": {
  18.     "url": "file:/mount/backups/my_fs_backup_location" 
  19.   }
  20. }
  21.  
  22. #创建快照
  23. PUT /_snapshot/my_backup/back_snapshot_1
  24. {
  25. "indices": "index1,index2",  
  26. "ignore_unavailable": true, 
  27. "include_global_state": false  
  28. }
  29.  
  30. #查看快照
  31. GET _snapshot
  32. #明确哪个仓库的情况下指定仓库名
  33. #
  34. GET _cat/snapshots/my_backup
  35. #
  36. GET _snapshot/my_backup/*?verbose=false
  37. #获取所有快照信息
  38.  
  39. #查看当前正在进行中的快照
  40. GET /_snapshot/my_backup/_current
  41.  
  42. #删除索引
  43. DELETE index_1
  44.  
  45. #从快照恢复数据
  46. POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
  47. {
  48.   "indices": "index_1" 
  49. }
  50.  
  51. #从快照恢复索引，并修改索引名称
  52. POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
  53. {
  54.   "indices": "index_1",
  55.   "ignore_unavailable": true,
  56.   "include_global_state": false,
  57.   "rename_pattern": "index_(.+)", #匹配要修改索引名的索引
  58.   "rename_replacement": "my_test_$1",  #修改索引名称
  59.   "include_aliases": false
  60. }
  61.  
  62. #查看恢复详情
  63. GET index_1/_recovery
  64.  
  65. #查看恢复中的分片状态
  66. GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state
  67.  
  68. #撤销进行的restore
  69. DELETE index_1
  70.  
  71. #删除快照
  72. DELETE /_snapshot/my_backup/snapshot_1
  73.  
  74. #slm相关
  75. GET  _slm/policy
  76. #
  77. PUT /_slm/policy/daily-snapshots
  78. {
  79.   "schedule": "0 30 1 * * ?",   
  80.   "name": "<daily-snap-{now/d}>",  
  81.   "repository": "my_repository", 
  82.   "config": { 
  83.     "indices": ["data-*", "important"],  
  84.     "ignore_unavailable": false,
  85.     "include_global_state": false
  86.   },
  87.   "retention": { 
  88.     "expire_after": "30d",   
  89.     "min_count": 5,
  90.     "max_count": 50 
  91.   }
  92. }
  93. #
  94. DELETE /_slm/policy/daily-snapshots
  95. #
  96. POST /_slm/policy/daily-snapshots/_execute
  97. #
  98. GET /_slm/stats
  99. #
  100. GET _slm/status
  101. #
  102. POST _slm/start
  103. #
  104. POST _slm/stop
  105. #
  106. POST /_slm/_execute_retention
 


                

        
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/905351
推荐阅读
相关标签
Copyright ©  2003-2013 www.wpsshop.cn  版权所有，并保留所有权利。

  
闽ICP备14008679号