当前位置:   article > 正文

使用RedisShake迁移自建Redis数据至阿里云Redis_redis-shake 4.1

redis-shake 4.1

一、前言

最近有个需求,需要把自建的Redis数据迁移至阿里云的Redis RDS。阿里云有官方的数据传输服务DTS(Data Transmission Service)。全量迁移是免费的,但增量迁移需要按量收费,遂放弃。经过一番搜索,发现了一个RedisShake的工具,而这个也是阿里开源的,秒啊~

二、 RedisShake介绍

2.1 什么是 RedisShake

RedisShake 是一个用于处理和迁移 Redis 数据的工具,它提供以下特性:

  • Redis 兼容性:RedisShake 兼容从 2.8 到 7.2 的 Redis 版本,并支持各种部署方式,包括单机,主从,哨兵和集群。
  • 云服务兼容性:RedisShake 与主流云服务提供商提供的流行 Redis-like 数据库无缝工作,包括但不限于:
    • 阿里云-云数据库 Redis 版
    • 阿里云-云原生内存数据库Tair
    • AWS - ElastiCache
    • AWS - MemoryDB
  • Module 兼容:RedisShake 与 TairString,TairZSet 和 TairHash 模块兼容。
  • 多种导出模式:RedisShake 支持 PSync,RDB 和 Scan 导出模式。
  • 数据处理:RedisShake 通过自定义脚本实现数据过滤和转换
2.1.1 迁移模式选择
  • 对于从备份中恢复数据的场景,可以使用 rdb_reader。
  • 对于数据迁移场景,优先选择 sync_reader。一些云厂商没有提供 PSync 协议支持,可以选择scan_reader。
  • 对于长期的数据同步场景,RedisShake 目前没有能力承接,因为 PSync 协议并不可靠,当复制连接断开时,RedisShake 将无法重新连接至源端数据库。如果对于可用性要求不高,可以使用 scan_reader。如果写入量不大,且不存在大 key,也可以考虑 scan_reader。
2.1.2 跨版本迁移

不要降低 Redis 版本迁移,比如从 6.0 降到 5.0,因为 RedisShake 每个大版本都会引入一些新的命令和新的编码方式,如果降低版本,可能会导致不兼容。

2.2 从哪里获取

Github仓库 https://github.com/tair-opensource/RedisShake
中文文档地址 https://tair-opensource.github.io/RedisShake/
Releases版本下载路径 https://github.com/tair-opensource/RedisShake/releases/

支持多个平台

  • redis-shake-darwin-amd64.tar.gz
  • redis-shake-darwin-arm64.tar.gz
  • redis-shake-linux-amd64.tar.gz
  • redis-shake-linux-arm64.tar.gz
  • redis-shake-windows-amd64.tar.gz
  • redis-shake-windows-arm64.tar.gz

同时也支持下载源码自行编译。

2.3 实操演示

首先下载 RedisShake,我们以v4.1.0为例,系统为CenterOS

wget https://github.com/tair-opensource/RedisShake/releases/download/v4.1.0/redis-shake-linux-amd64.tar.gz
  • 1

解压缩

tar -zxvf redis-shake-linux-amd64.tar.gz
  • 1

会得到两个文件

redis-shake 
shake.toml
  • 1
  • 2

shake.toml是配置文件,TOML语法,具体可查看文档。
修改配置

[root@~ redis-shake]# vim shake.toml
function = ""

# PSync模式
[sync_reader]
cluster = false            # 是否为集群模式
address = "127.0.0.1:6379"
username = ""         
password = "password1" 
tls = false
sync_rdb = true     # 同步全量数据
sync_aof = true     # 同步增量数据
prefer_replica = true

# Scan模式
#[scan_reader]
#cluster = false            
#address = "127.0.0.1:6379"
#username = ""              
#password = ""              
#tls = false
#dbs = []                   # 指定需要同步的database
#scan = true                
#ksn = false               
#count = 1                  # 每次扫描key的数量

# RDB 模式
# [rdb_reader]
# filepath = "/tmp/dump.rdb"

# [aof_reader]
# filepath = "/tmp/.aof"
# timestamp = 0              # subsecond

[redis_writer]
cluster = false            
sentinel = false           # 是否为哨兵模式
master = ""                
address = "192.168.1.2:6379" 
username = ""              
password = "password2"              
tls = false
off_reply = false       

[advanced]
dir = "data"
ncpu = 3        # CPU 核心数, 0表示不受限制
pprof_port = 0  # pprof访问端口, 0表示禁用
status_port = 0 # 状态检测访问端口, 0表示禁用

# log
log_file = "shake.log"
log_level = "info"     # debug, info, warn 可选
log_interval = 5  

# panic:   停止迁移.
# rewrite: 覆盖相同的key
# ignore:  跳过相同的key.
rdb_restore_command_behavior = "rewrite"

# 数据传输管道的大小限制.
pipeline_count_limit = 1024

# 客户端查询缓冲区大小,默认 1gb.
target_redis_client_max_querybuf_len = 1024_000_000

# In the Redis protocol, bulk requests, that are, elements representing single
# strings, are normally limited to 512 mb.
target_redis_proto_max_bulk_len = 512_000_000

# 针对AWS的Elasticache或MemoryDB的配置
aws_psync = ""

# 是否在传输前先清空目标数据
empty_db_before_sync = false

[module]
# BF.LOADCHUNK
target_mbbloom_version = 20603
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79

配置文件修改好后保存,再运行

./redis-shake shake.toml
  • 1

执行后会在同目录生成一个data的临时目录,日志文件也会在此目录保存,还有aof文件.

[root@~ data]# ls -lrt
total 3052
-rw------- 1 root root       0 Jun 19 17:32 pid.lockfile
drwxr-xr-x 2 root root    4096 Jun 19 19:30 reader_127.0.0.1_6379
-rw-r--r-- 1 root root 3116030 Jun 20 20:23 shake.log
  • 1
  • 2
  • 3
  • 4
  • 5

同步日志如下

[root@~ redis-shake]# ./redis-shake shake.toml
2024-06-19 18:29:55 INF load config from file: shake.toml
2024-06-19 18:29:55 INF log_level: [info], log_file: [/home/redis-shake/data/shake.log]l
2024-06-19 18:29:55 INF changed work dir. dir=[/home/redis-shake/data]
2024-06-19 18:29:55 INF set ncpu to 3
2024-06-19 18:29:55 INF set GOMAXPROCS to 3
2024-06-19 18:29:55 INF not set pprof port
2024-06-19 18:29:55 INF create ScanStandaloneReader: 127.0.0.1:6379
2024-06-19 18:29:55 INF create RedisStandaloneWriter: 192.168.1.2:6379
2024-06-19 18:29:55 INF not set status port
2024-06-19 18:30:00 INF start syncing...
2024-06-19 18:30:05 INF read_count=[6866], read_ops=[869.87], write_count=[6865], write_ops=[869.87], scan_dbid=[0], scan_percent=[5.61%], need_update_count=[99884]
2024-06-19 18:30:10 INF read_count=[10815], read_ops=[601.65], write_count=[10814], write_ops=[601.65], scan_dbid=[0], scan_percent=[5.82%], need_update_count=[99753]
2024-06-19 18:30:15 INF read_count=[13557], read_ops=[622.26], write_count=[13556], write_ops=[622.26], scan_dbid=[0], scan_percent=[5.96%], need_update_count=[99872]
2024-06-19 18:30:20 INF read_count=[18269], read_ops=[852.18], write_count=[18268], write_ops=[852.18], scan_dbid=[0], scan_percent=[6.21%], need_update_count=[99887]
2024-06-19 18:30:25 INF read_count=[22062], read_ops=[502.66], write_count=[22061], write_ops=[502.66], scan_dbid=[0], scan_percent=[6.40%], need_update_count=[99878]
2024-06-19 18:30:30 INF read_count=[25226], read_ops=[829.09], write_count=[25225], write_ops=[829.09], scan_dbid=[0],] scan_percent=[6.57%], need_update_count=[99801]
... ...
2024-06-19 18:31:45 INF read_count=[94883], read_ops=[935.01], write_count=[94882], write_ops=[935.01], scan_dbid=[0], scan_percent=[10.18%], need_update_count=[99897]
2024-06-19 18:31:50 INF read_count-[100268], read_ops=[1245.28], write_count=[100267], write_ops-[1245.28], scan_dbid-[0], scan_percent=[10.46%], need_update_count-[99757]
2024-06-19 18:31:55 INF read_count=[104976], read_ops=[738.58], write_count=[104975], write_ops=[738.58], scan_dbid=[0], scan_percent=[10.70%], need_update_count=[99880]
2024-06-19 18:32:00 INF read_count=[109798], read_ops=[994.45], write_count=[109797], write_ops=[994.45], scan_dbid=[0], scan_percent=[10.95%], need_update_count=[99769]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

同步时不能结束进。同步完全量数据后,开始同步增量数据。

2024-06-19 20:22:46 INF read_count=[1989683], read_ops=[1.00], write_count=[1989683], write_ops=[1.00], syncing aof, diff=[0]
  • 1

这时可以正常切换Redis了。切换成功后等read_ops及write_ops为0时,就可以把自建的redis关闭了。

三、结束语

RedisShake确实很强大,使用时几乎不影响原有的业务稳定性。至于其他的模式我没有测试,大家可以尝试一下,好用的话帮忙点个赞,谢谢~

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/运维做开发/article/detail/784565
推荐阅读
相关标签
  

闽ICP备14008679号