devbox
不正经
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Redis主从复制、哨兵模式、Cluster集群

作者：不正经 | 2024-04-11 01:15:53

赞

踩

Redis主从复制、哨兵模式、Cluster集群

目录

一、Redis主从复制

1、主从复制介绍

2、主从复制原理

              ​编辑

3、主从复制的作用

4.Redis主从复制实验搭建

1. 关闭防火墙和安装依赖环境

2. 解压安装包

3. 编译并安装到指定目录 

4. 执行脚本文件

5. 做软连接

6. 启动redis并查看端口

7. 重启redis

8. 修改主服务器--->7-4---配置文件

9. 重启redis服务

10. 修改从服务器--->7-3---配置文件

11. 重启服务，看主从有没连接

12. 修改从服务器--->7-2---配置文件

13. 重启服务，查看主从服务器有没有连接

14. 在Master--->7-4---验证主从效果

15. 在Master--->7-4---验证从节点 

16. 在Master节点上设置键，查看从节点

二、Redis哨兵模式

1. 哨兵模式的作用

2. 哨兵结构由两部分组成，哨兵节点和数据节点

3. 故障切换原理

4. 主节点的选举

5.  哨兵模式的搭建

1. 环境配置

2. 修改Redis配置文件（所有节点--->7-4，7-3和7-2）

3. 启动哨兵模式

4. 故障模拟

5. 查看结果 

三、Redis群集模式

3.1 集群的作用

3.2 Redis集群的数据分片

3.3 Redis群集模式搭建

1. 创建6个端口文件 

2. 开启群集功能

3. 配置其他5个端口

4. 启动redis节点

5. 启动集群

​编辑

6. 测试集群

一、Redis主从复制

1、主从复制介绍

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点（Master），后者称为从节点（Slave）；数据的复制是单向的，只能由主节点到从节点。

默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点（或没有从节点），但一个从节点只能有一个主节点。

2、主从复制原理

#####sync  同步
#####RDB(完全备份的文件------>从服务器)  和  AOF(增量备份的文件----->从服务器)

1. 从服务器给主服务器发送sync同步数据请求

2. 主redis会fork一个子进程，会产生rdb文件(#完全备份的文件)
    2.1 客户端还在持续写入redis
    
3. rdb文件的持久化完成后，主redis会将rdb文件和缓存起来的命令给从服务器

4. 复制和推送完数据后，主redis会持续同步操作命令(利用的是AOF[增量备份]的持久化功能)

5. 再下一台redis接入主从复制之前，主redis会持续的利用AOF的方式来同步数据给从服务器

              

3、主从复制的作用

  1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
  2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
  3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
  4. 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

4.Redis主从复制实验搭建

主机操作系统IP地址软件 / 安装包 / 工具
MasterCentOS7192.168.91.104redis-5.0.7.tar.gz
Slave1CentOS7192.168.91.103redis-5.0.7.tar.gz
Slave2CentOS7192.168.91.102redis-5.0.7.tar.gz

1. 关闭防火墙和安装依赖环境

  1. systemctl stop firewalld
  2. setenforce 0
  3. yum install gcc gcc-c++ -y make

2. 解压安装包

  1. #解压文件到指定文件夹 opt
  2. tar zxvf redis-5.0.7.tar.gz -C /opt/
  3. cd /opt/redis-5.0.7/

3. 编译并安装到指定目录 

  1. make
  2. #编译
  3. make PREFIX=/usr/local/redis install
  4. #执行软件包提供的install_server.sh 脚本文件，设置Redis服务所需要的相关配置文件

4. 执行脚本文件

  1. cd utils###先切换目录
  2. ./install_server.sh

5. 做软连接

ln -s /usr/local/redis/bin/* /usr/local/bin/

6. 启动redis并查看端口

  1. /etc/init.d/redis_6379 start
  2. netstat -natp|grep 6379

7. 重启redis

8. 修改主服务器--->7-4---配置文件

  1. vim /etc/redis/6379.conf
  2. bind 0.0.0.0      #70行，修改监听地址为0.0.0.0
  3. daemontze yes     #137行，开启守护进程
  4. logfile/var/log/redis_6379.1og   #172行，指定日志文件目录
  5. dir/var/lib/redis/6379           #264行，指定工作目录
  6. appendonly yes                   #700行，开启AOF持久化功能
  7. /etc/init.d/redis_6379 restart

修改内容如下 

9. 重启redis服务

10. 修改从服务器--->7-3---配置文件

  1. vim /etc/redis/6379.conf 
  2.  
  3. bind 0.0.0.0         #70行，修改监听地址为0.0.0.0
  4. daemonize yes        #137行，开启守护进程
  5. logfile/var/log/redis 6379.1og    #172行，指定日志文件目录
  6. dir/var/lib/redis/6379            #264行，指定工作目录
  7. replicaof 192.168.52.140 6379#288行，指定要同步的Master节点IP和端口
  8. appendonly yes     #700行，开启AOF持久化功能
  9. #################################################################
  10. /etc/init.d/redis_6379 restart
  11. netstat -natp | grep redis

默认内容如下

需要修改内容如下 

11. 重启服务，看主从有没连接

  1. /etc/init.d/redis_6379 restart
  2. netstat -natp|grep redis

12. 修改从服务器--->7-2---配置文件

  1. vim /etc/redis/6379.conf 
  2.  
  3. bind 0.0.0.0         #70行，修改监听地址为0.0.0.0
  4. daemonize yes        #137行，开启守护进程
  5. logfile/var/log/redis 6379.1og    #172行，指定日志文件目录
  6. dir/var/lib/redis/6379            #264行，指定工作目录
  7. replicaof 192.168.52.140 6379#288行，指定要同步的Master节点IP和端口
  8. appendonly yes     #700行，开启AOF持久化功能
  9. /etc/init.d/redis_6379 restart
  10. netstat -natp | grep redis

默认内容如下

需要修改内容如下 

13. 重启服务，查看主从服务器有没有连接

  1. /etc/init.d/redis_6379 restart
  2. netstat -natp|grep redis

14. 在Master--->7-4---验证主从效果

tail /var/log/redis_6379.log

15. 在Master--->7-4---验证从节点 

redis-cli info replication

16. 在Master节点上设置键，查看从节点

二、Redis哨兵模式

主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。

哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。

1. 哨兵模式的作用

  • 监控：哨兵会不断地检查主节点和从节点是否运作正常。
  • 自动故障转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从节点升级为新的主节点，并让其它从节点改为复制新的主节点。
  • 通知（提醒）：哨兵可以将故障转移的结果发送给客户端。

2. 哨兵结构由两部分组成，哨兵节点和数据节点

  • 哨兵节点：哨兵系统由一个或多个哨兵节点组成，哨兵节点是特殊的redis节点，不存储数据，台数必须为大于等于3奇数台。
  • 数据节点：主节点和从节点都是数据节点。

3. 故障切换原理

一、哨兵对主从复制的集群进行监控
监控对象：所有redis数据节点

二、 哨兵与哨兵之间进行相互监控
监控对象：哨兵彼此

三、 监控的原理
1. 哨兵与哨兵之间的监控目的：检测彼此的存活状态
2. 哨兵会监控所有的redis数据库的目的：为了实现自动故障切换

###故障切换原理：1. 当master宕机，哨兵会及时发现，会进行投票机制，选举出新master(一定是奇数)
                               2. 完成slave---->master的从向主进行切换
                               3. 完成其他从服务器对新master做配置

需要特别注意的是，客观下线是主节点才有的概念；如果从节点和哨兵节点发生故障，被哨兵主观下线后，不会再有后续的客观下线和故障转移操作

4. 主节点的选举

  • 过滤掉不健康的（己下线的），没有回复哨兵ping响应的从节点。
  • 选择配置文件中从节点优先级配置最高的。（replica-priority，默认值为100）
  • 选择复制偏移量最大，也就是复制最完整的从节点。

哨兵的启动依赖于主从模式，所以须把主从模式安装好的情况下再去做哨兵模式

5.  哨兵模式的搭建

1. 环境配置

哨兵模式要在基于主从复制已搭建完成的前提下

主机操作系统IP地址软件 / 安装包 / 工具
MasterCentOS7192.168.91.104redis-5.0.7.tar.gz
Slave1CentOS7192.168.91.103redis-5.0.7.tar.gz
Slave2CentOS7192.168.91.102redis-5.0.7.tar.gz

2. 修改Redis配置文件（所有节点--->7-4，7-3和7-2）

  1. systemctl stop firewalld
  2. setenforce 0
  3.  
  4. vim /opt/redis-5.0.7/sentinel.conf
  5. protected-mode no               #17行，关闭保护模式
  6. port 26379                    #21行，Redis哨兵默认的监听端口
  7. daemonize yes                 #26行，指定sentinel为后台启动
  8. logfile "/var/log/sentinel.log"         #36行，指定日志存放路径
  9. dir "/var/lib/redis/6379"           #65行，指定数据库存放路径
  10. sentinel monitor mymaster 192.168.223.10 6379 2 #84行，修改 指定该哨兵节点监控192.168.223.10:6379这个主节点，该主节点的名称是mymaster，最后的2的含义与主节点的故障判定有关：至少需要2个哨兵节点同意，才能判定主节点故障并进行故障转移
  11. sentinel down-after-milliseconds mymaster 30000 #113行，判定服务器down掉的时间周期，默认30000毫秒（30秒）
  12. sentinel failover-timeout mymaster 180000   #146行，故障节点的最大超时时间为180000（180秒）

默认配置如下

 

需要修改内容如下

3. 启动哨兵模式

  1. redis-sentinel sentinel.conf &
  2. 注意！先启动主服务器，再启动从服务器

4. 故障模拟

查看redis-server进程号

  1. ps aux|grep redis
  2. root      58036  0.2  0.2 159624  4752 ?        Ssl  13:18   0:08 /usr/local/bin/redis-server 0.0.0.0:6379
  3. root      58613  0.4  0.2 153992  4600 ?        Ssl  14:18   0:01 redis-sentinel *:26379 [sentinel]
  4. root      58709  0.0  0.0 112824   980 pts/1    S+   14:23   0:00 grep --color=auto redis

杀死Master节点上redis-server进程号

kill -9 57031     #Master节点上redis-server的进程号

5. 查看结果 

在哨兵节点上验证master是否转换至从服务器 

tail -f /var/log/sentinel.log

在哨兵上查看是否转换成功

  1. redis-cli -p 26379 info sentinel
  2. ####用于检索有关Redis Sentinel的信息

三、Redis群集模式

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制。

3.1 集群的作用

数据分区：数据分区(或称数据分片)是集群最核心的功能。

集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。

Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

高可用：集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

3.2 Redis集群的数据分片

Redis集群引入了哈希槽的概念

Redis集群有16384个哈希槽（编号0-16383）

集群的每个节点负责一部分哈希槽

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

#以3个节点组成的集群为例：

节点A包含0到5460号哈希槽

节点B包含5461到10922号哈希槽

节点C包含10923到16383号哈希槽

#Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用

3.3 Redis群集模式搭建

redis的集群一般需要6个节点，3主3从。方便起见，这里所有节点在同一台服务器上模拟：
以端口号进行区分：3个主节点端口号：6001/6002/6003，对应的从节点端口号：6004/6005/6006。

1. 创建6个端口文件 

  1. cd /etc/redis/
  2. mkdir -p redis-cluster/redis600{1..6}
  3.  
  4. for i in {1..6}
  5. do
  6. cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
  7. cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
  8. done

2. 开启群集功能

  1. #其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样。
  2. cd /etc/redis/redis-cluster/redis6001
  3. vim redis.conf
  4.  
  5. #bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
  6. protected-mode no						#88行，修改，关闭保护模式
  7. port 6001								#92行，修改，redis监听端口，
  8. daemonize yes							#136行，开启守护进程，以独立进程启动
  9. cluster-enabled yes						#832行，取消注释，开启群集功能
  10. cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
  11. cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
  12. appendonly yes							#700行，修改，开启AOF持久化

3. 配置其他5个端口

需要修改的内容如下

4. 启动redis节点

  1. cd /etc/redis/redis-cluster/redis6001
  2. redis-server redis.conf

  1. for d in {1..6}
  2. do
  3. cd /etc/redis/redis-cluster/redis600$d
  4. redis-server redis.conf
  5. done

ps -ef | grep redis

5. 启动集群

  1. #启动集群
  2. redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1
  3.  
  4. #六个实例分为三组，每组一主一从，前面的做主节点，后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
  5. --replicas 1 表示每个主节点有1个从节点。

6. 测试集群

redis-cli -p 6001 -c

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/402069
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号