Zookeeper简单使用

Zookeeper

一、zookeeper简述

大型分布式计算开源的分布式配置服务，同步服务和命令注册。

架构通过冗余实现高可用。

目标：将那些负载且容易出错的分布式一致性服务封装其拉力，构成一个高效可靠的原语集，以一系列简单易用的接口提供给用户使用。

一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命令服务、分布式协调/通知，集群管理、master选举、分布式锁和分布式队列等。

1.1 zookeeper数据结构

它提供的名称空间类似标准文件系统，k-v的形式存储。名称key由斜线 / 分割的一系列路径元素，zookeeper名称空间中的每个节点都是由一个路径标识。

1.2 CAP理论

CAP理论分布式计算系统来说，不可能同时满足三点。

一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。

一致性： 一致性是指数据在多个副本之间是否能够保持一致的特性，等同于所有节点访问同一份最新的数据副本。在一致性的需求下，当一个系统在数据一致的状态下执行更新操作后，应该保证系统的数据仍然处于一致的状态。

可用性： 每次请求都能获取到正确的响应，但是不保证获取的数据为最新数据。

分区容错性： 分布式系统在遇到任何网络分区故障的时候，仍然需要能够保证对外提供满足一致性和可用性的服务，除非是整个网络环境都发生了故障。

在这三个基本需求中，最多只能同时满足其中的两项，P 是必须的，因此只能在 CP 和 AP 中选择，zookeeper 保证的是 CP，对比 spring cloud 系统中的注册中心 eruka 实现的是 AP。

1.3 BASE理论

BASE 是 Basically Available(基本可用)、Soft-state(软状态) 和 Eventually Consistent(最终一致性) 三个短语的缩写。

基本可用：分布式系统出现故障，允许损失部分可用性（服务降级、页面降级）。

软状态：允许分布式系统出现中间状态，而且中间状态不影响系统的可用性。

最终一致性： data replications 经过一段时间达到一致性 。

二、zookeeper数据模型znode结构详解

2.1数据模型

zookeeper中的所有存储的数据由znode组成，节点称为znode，并以key/value形式存储数据。

整体结构类似linux的文件系统模式 以树形结构存储。 其中根路径以 / 开头。

进入zookeeper安装的bin的目录，通过sh zkCli.sh 打开命令行终端，执行 “ls /”命令显示。

[gallery ids="114"]

三、zookeeper session基本原理

客户端与服务器之间的连接是基于TCP长连接，client端连接server端默认的2181端口，也就是session会话。

从第一次连接建立开始，客户端开始会话的生命周期，客户端向服务端的ping包请求，每个会话都可以设置一个超时时间。

3.1 Session的创建

sessionID：会话ID，用来唯一标识一个会话， 每次客户端创建会话的时候，zookeeper 都会为其分配一个全局唯一的 sessionID 。

timeout：会话超时时间。客户端再构造zookeeper实例时候，向服务端发送配置的超时时间，server端会根据自己的超时时间限制最终确认会话的超时时间。

TickTime：下次会话超时时间点，默认200ms。 在 zoo.cfg 配置文件中配置，便于 server 端对 session 会话实行分桶策略管理。

isClosing：该属性标记一个会话是否已经被关闭，当server端检测到灰灰啊已经超时失效，该会话标记为‘已关闭’，不再处理该会话的新请求。

3.2 session的状态

connecting：连接中，session一旦建立，状态就是connecting状态，时间很短。

connected：已连接，连接成功之后的状态。

closed：已关闭，发生在session过期，一般由于网络故障客户端重连失败，服务器宕机或者客户端主动断开。

3.3 会话超时管理（分桶策略和会话激活）

leader服务再运行期间定时进行会话超时检查，时间间隔是 ExpirationInterval ，单位是毫秒。 默认值是 tickTime，每隔 tickTime 进行一次会话超时检查。

ExpirationTime 的计算方式:

 ExpirationTime = CurrentTime + SessionTimeout;
 ExpirationTime = (ExpirationTime / ExpirationInterval + 1) * ExpirationInterval;

zookeeper 运行过程中，客户端会在会话超时过期范围内向服务器发送请求（包括读和写）或者 ping 请求，俗称心跳检测完成会话激活，从而来保持会话的有效性。

会话激活流程：

[gallery ids="115"]

激活后进行迁移会话的过程，然后开始新一轮：

[gallery ids="116"]

四、zookeeper客户端基础命令使用

4.1 进入终端

首先执行命令，打开新的session会话，进入终端。一般这个脚本再zookeeper的bin目录下。

/data/zookeeper/bin/

 $ sh zkCli.sh

4.2 ls命令

ls 命令查看某个路径下目录列表

 #格式
 ls path
 -- path：代表路径
 ​
 #实例，查看根目录下的文件。
 [zk: localhost:2181(CONNECTED) 0] ls /
 [zk, zookeeper, redisExpired, msg-send-task, estask, mascloud, canal-adapter, codis3, disp, otter]
 [zk: localhost:2181(CONNECTED) 1] 
 ​
 ​

4.3 ls2 命令

ls2命令用于查看某个路径下目录列表，它比ls命令列出更多的详细信息。

 #格式
 ls2 path
 --path：代表路径
 [zk: localhost:2181(CONNECTED) 3] ls2 /mascloud/conf/gw/0/e186cfc2a5ae4ffd89fd736c92e6eb4a
 []
 cZxid = 0x90008ae12
 ctime = Fri Apr 08 16:30:53 CST 2022
 mZxid = 0x90008ae12
 mtime = Fri Apr 08 16:30:53 CST 2022
 pZxid = 0x90008ae12
 cversion = 0
 dataVersion = 0
 aclVersion = 0
 ephemeralOwner = 0x0
 dataLength = 405
 numChildren = 0
 ​
 #与ls2 区别对比
 [zk: localhost:2181(CONNECTED) 4] ls /mascloud/conf/gw/0/e186cfc2a5ae4ffd89fd736c92e6eb4a     
 []
 ​
 ​

4.4 get命令

get命令用于获取节点数据和状态信息

 #格式
 get path [watch]
 -path: 路径
 -watch：对节点进行事件监听。
 ​
 [zk: localhost:2181(CONNECTED) 5] get /mascloud/conf/gw/0/e186cfc2a5ae4ffd89fd736c92e6eb4a watch
 {"accessKey":"110210","conn":2,"ecId":"mobanFIF","extProps":{"vipgw":"false"},"flowLimit":1,"flowPeriod":1000,"group":5,"gwId":"e186cfc2a5ae4ffd89fd736c92e6eb4a","host":"192.168.0.31","maxContentBytesForAsc":159,"maxContentBytesForGbk":140,"maxRetryNums":0,"maxSrcIdLength":21,"mtSrcId":"106933355632","ot":false,"port":27881,"protocol":"gw_cmpp_v2.0","secretKey":"123123","share":false,"uniqId":"110210"}
 cZxid = 0x90008ae12
 ctime = Fri Apr 08 16:30:53 CST 2022
 mZxid = 0x90008ae12
 mtime = Fri Apr 08 16:30:53 CST 2022
 pZxid = 0x90008ae12
 cversion = 0
 dataVersion = 0
 aclVersion = 0
 ephemeralOwner = 0x0
 dataLength = 405
 numChildren = 0
 ​

4.5 stat命令

stat命令用于查看节点状态信息

 #格式
 stat path [watch]
 -path：路径
 -watch：对节点进行事件监听
 ​
 [zk: localhost:2181(CONNECTED) 10] stat /mascloud watch
 cZxid = 0x100003880
 ctime = Mon Mar 28 17:02:04 CST 2022
 mZxid = 0x100003880
 mtime = Mon Mar 28 17:02:04 CST 2022
 pZxid = 0xd3016d489e
 cversion = 7
 dataVersion = 0
 aclVersion = 0
 ephemeralOwner = 0x0
 dataLength = 0
 numChildren = 3
 ​

4.6 create命令

create 命令用于创建节点并赋值

 #格式
 create [-s] [-e] path data acl
 ​
 [-s] [-e]：-s和-e都是可选的，-s代表顺序节点，注意其中-s和-e可以同时使用，并且临时节点不能再创建子节点。
 ​
 path：指定要创建节点的路径，比如/mascloud
 ​
 data：要再此节点存储的数据
 ​
 acl：访问权限相关，默认world，相关于全世界都能访问。
 ​
 ~# create -s -e /runoob 0
 ​
 注：创建的节点既是有序，又是临时节点。
 ​

4.7 set命令

set命令用于修改节点存储的数据

 #格式
 set path data [version]
 -path：节点路径
 -data：需要存储的数据
 -[version]：可选项，版本号（可用乐观锁）
 ​
 #只有正确的版本号才能设置成功
 set /runoob 0 1
 set /runoob 0 2
 set /runoob 0 6
 ​

4.8 delete命令

delete命令用于删除某节点。

 delete path [version]
 ​
 -path：节点路径
 -version： 可选项，版本号（同set命令）
 ​
 #实例
 ~# ls /runoob
 ~# delete /runoob/child
 ~# get /runoob/child  (get not exist)
 ​

五、zookeeper四字命令

zookeeper支持某些特定的四字命令与其交互， 用户获取 zookeeper 服务的当前状态及相关信息，用户在客户端可以通过 telenet 或者 nc（netcat） 向 zookeeper 提交相应的命令。

 安装nc命令：
     #yum install nc        # centos
     #sudo apt install netcat  #ubuntu
 ​

四字命令格式：

 echo [ command ] | nc [ip] [port]

zookeeper常用四字命令主要如下：

四字命令使用

stat命令

stat命令用于查看zk的状态信息，

 ~$ echo stat | nc ip port
 ​

ruok命令

用于查看当前zkserver是否启动，若返回imok标识正常，

 ~$ echo ruok | nc ip port
 ​

dump 命令

用于列出未经处理的会话和临时节点。

 ~$ echo dump | nc ip port
 ​

conf命令

用于查看服务器配置

 ~$ echo cons | nc ip port
 ​

cons命令

用于展示连接到服务器的客户端信息。

 ~$ echo cons | nc ip port

envi命令

用于查看环境变量

 ~$ echo envi | nc ip port

六、zookeeper节点特性

6.1 同一级节点key名称是唯一的

 #实例
 [zk: localhost:2181(CONNECTED) 2] ls /
 [runoob, zookeeper]
 [zk: localhost:2181(CONNECTED) 3] create /runoob 2
 Node already exists: /runoob
 ​
 - 注：已存在/runoob节点，再次创建会提示已经存在

6.2 创建节点时，必须要带上全路径

 #实例
 $ ls /data
 ​
 $ create /data/mysql 0
 $ create /data/mysql/mysql01 0
 ​

6.3 session关闭，临时节点清除

 $ ls /data
 $ create -e /data/mysql02 0
 ​
 #实例
 #终端一
 [zk: localhost:2181(CONNECTED) 12] ls /data
 [mysql]
 [zk: localhost:2181(CONNECTED) 13] create -e /data/mysql02 0
 Created /data/mysql02
 ​
 ​
 #同时终端二查看该节点
 [zk: localhost:2181(CONNECTED) 1] ls /data
 [mysql, mysql02]
 ​
 #ctrl+c 关闭终端一连接后，查询终端二/data/mysql02 节点消失
 [zk: localhost:2181(CONNECTED) 6] ls /data
 [mysql]
 ​

6.4 自动创建顺序节点

 $ create -s -e /runoob 0
 [zk: localhost:2181(CONNECTED) 0] ls /
 [data, runoob, zookeeper]
 [zk: localhost:2181(CONNECTED) 1] create -s -e /runoob 0
 Created /runoob0000000002
 [zk: localhost:2181(CONNECTED) 2] create -s -e /runoob 0
 Created /runoob0000000003
 [zk: localhost:2181(CONNECTED) 3] create -s -e /runoob 0
 Created /runoob0000000004
 [zk: localhost:2181(CONNECTED) 4] create -s -e /runoob 0
 Created /runoob0000000005
 ​

6.5 watch 机制，监听节点变化

事件监听机制类似观察者模式，watch流程时客户端向服务端某个节点路径上注册一个watcher，同时客户端也会存储特定的watcher，当节点数据或子节点发生变化时，服务端通知客户端，客户端进行回调处理。特别注意：监听事件被单次触发后，事件就失效。

6.6 delete 命令只能一层一层的删除

 ls /
 delete /data
 ​
 [zk: localhost:2181(CONNECTED) 14] delete /data
 Node not empty: /data
 ​
 # 提示：新版本可以通过deleteall 命令递归删除

最后zookeeper可以应用在不同的经典应用场景

 1、数据发布/订阅
 2、负载均衡
 3、分布式协调通知
 4、集群管理
 5、master管理
 6、分布式锁
 7、分布式队列

七、zookeeper权限控制ACL

ACL权限可以针对节点设置相关读写等权限，保障数据安全性。

permissions可以指定不同的权限范围及角色

7.1 ACL命令行

• getAcl命令：获取某个节点的acl权限信息

 [zk: localhost:2181(CONNECTED) 6] getAcl /zk/codis/db_cmas/proxy
 'world,'anyone
 : cdrwa
 [zk: localhost:2181(CONNECTED) 7] ls /
 [zk, zookeeper, redisExpired, msg-send-task, estask, mascloud, canal-adapter, codis3, disp, otter]
 ​

• setAcl命令：设置某个节点的acl权限信息

 setAcl path acl

• addauth命令：输入认证授权信息，注册时输入明文密码，加密形式保存。

 addauth scheme auth

7.2ACL构成

zookeeper的acl通过【scheme:id : permissions】来构成权限列表。

1、scheme：代表采用的某种权限机制，包括world、auth、digest、IP、super几种。

2、id：代表允许访问的用户。

3、permissions：权限组合字符串，由cdrwa组成，其中每个字母代表支持不同权限，创建权限create（c）、删除权限delete（d）、读权限read（r）、写权限write（w）、管理权限admin（a）。

world实例

查看默认节点权限，在更新节点permissions权限部分crwa，结果删除节点失败。

 $ getAcl /data/mysql
 ​
 $ setAcl /data/mysql world:anyone:crwa
 ​
 $delete /data/mysql
 ​
 #实例
 [zk: localhost:2181(CONNECTED) 36] getAcl /data/mysql
 'world,'anyone
 : cdrwa
 [zk: localhost:2181(CONNECTED) 37] setAcl /data/mysql world:anyone:crwa
 [zk: localhost:2181(CONNECTED) 38] 
 [zk: localhost:2181(CONNECTED) 39] delete /data/mysql
 Node not empty: /data/mysql
 ​
 [zk: localhost:2181(CONNECTED) 44] delete /data/mysql/myslq01 
 Insufficient permission : /data/mysql/myslq01
 ​

auth实例

auth用于授予权限，注意需要先创建用户

 $setAcl /data/mysql/mysql01 auth:user1:123456:cdrwa
 $addauth digest user1:123456
 $setAcl /data/mysql/mysql01 auth:user1:123456:cdrwa
 $getAcl /data/mysql/mysql01
 ​
 [zk: localhost:2181(CONNECTED) 45] setAcl /data/mysql/myslq01 auth:user1:123456:cdrwa
 Acl is not valid : /data/mysql/myslq01
 [zk: localhost:2181(CONNECTED) 46] addauth digest user1:123456
 [zk: localhost:2181(CONNECTED) 47] setAcl /data/mysql/myslq01 auth:user1:123456:cdrwa
 [zk: localhost:2181(CONNECTED) 48] getAcl /data/mysql/myslq01 
 'digest,'user1:HYGa7IZRm2PUBFiFFu8xY2pPP/s=
 : cdrwa
 [zk: localhost:2181(CONNECTED) 49] 
 ​

digest实例

退出当前用户，重新连接终端，digest可用于账号密码登陆和验证。

 #提示：加密密码是上一步创建的。
 $ ls /runoob
 $ create /runoob/child01 runoob
 $ getAcl /runoob/child01
 $ setAcl /runoob/child01 digest:user1:HYGa7IZRm2PUBFiFFu8xY2pPP/s=:cdra
 $ getAcl /runoob/child01
 $ addauth digest user1:123456
 $ getAcl /runoob/child01
 ​
 [zk: localhost:2181(CONNECTED) 0] getAcl /runoob/child01 
 Insufficient permission : /runoob/child01
 [zk: localhost:2181(CONNECTED) 1] addauth digest user1:123456
 [zk: localhost:2181(CONNECTED) 2] getAcl /runoob/child01 
 'digest,'user1:HYGa7IZRm2PUBFiFFu8xY2pPP/s=
 : cdrwa
 [zk: localhost:2181(CONNECTED) 3] 
 ​

IP实例

限制IP地址的访问权限，把权限设置给IP地址为192.168.3.7后，IP为192.168.3.38已经没有访问权限

 create /runoob/ip 0
 getAcl /ruboob/ip
 setAcl /ruboob/ip ip:192.168.3.7:cdrwa
 get /runoob/ip
 ​
 [zk: localhost:2181(CONNECTED) 4] create /runoob/ip 0
 Created /runoob/ip
 [zk: localhost:2181(CONNECTED) 5] getAcl /runoob/ip 
 'world,'anyone
 : cdrwa
 [zk: localhost:2181(CONNECTED) 7] setAcl /runoob/ip ip:10.0.0.200:cdrwa
 [zk: localhost:2181(CONNECTED) 8] get /runoob/ip
 Insufficient permission : /runoob/ip
 ​

八、zookeeper数据同步流程

在zookeeper中，主要依赖ZAB协议来实现分布式数据一致性

ZAB协议分两部分：

• 消息广播

• 崩溃恢复

8.1 消息广播

zookeeper使用单一的主进程Leader来接收和处理客户端所有事务请求，并采用ZAB协议的原子广播协议，将事务请求以Proposal提议广播到所有Follower节点，当集群中有过半的Follower服务器进行正确的ACK反馈，那么Leader就会再次向所有的Folloer服务器发送commit消息，将此次提案进行提交。这个过程简称为2pc事务提交，注：Observer节点只负责同步leader数据，不参与2PC数据同步过程。

8.2崩溃恢复

正常情况消息广播情况下能运行良好，但是一旦Leader服务器出现崩溃，或者由于网络原理导致leader服务器失去了过半 Follower的通信，那么就会进入崩溃恢复模式，需要选举出一个新的leader服务器。这个过程可能会出现两种数据不一致性的隐患，这就需要ZAB协议的特性进行避免。

1、leader服务器将消息commit发出后，立即崩溃

2、leader服务器刚提交proposal后，立即崩溃。

ZAB协议的恢复模式使用策略：

1、选举zxid最大的节点作为新的leader

2、新leader将事务日志中尚未提交的消息进行处理。

九、Zookeeper Leader选举原理

zookeeper的leader选举存在两个阶段，一个服务器启动时leader选举，另一个是运行过程中leader服务器宕机。

• 服务器Id（myid）：服务器的唯一标识(SID)，通过配置 myid 文件指定，集群中唯一,当ZXID一样时,myid大的节点优先选为Leader ，编号越大在选举算法中权重越大。

• 事务ID（ｚｘｉｄ-zookeeper transaction id）：每个改变 Zookeeper状态的操作都会形成一个对应的zxid，ZXID最大的节点优先选为Leader。值越大说明数据越新，权重越大。

• 逻辑时钟 (epoch-logicalclock)：同一轮投票过程中的逻辑时钟值是相同的，每投完一次值会增加 。

选举状态：

• LOOKing：竞选状态。

• Following：随从状态，同步leader状态，参与投票。

• observing：观察状态，同步leader状态，不参与投票

• leading：领导者状态

9.1 服务器启动时的leader选举

节点启动的时候都looking观望状态，下面就是开始进行选举主流程。以下三台组成集群为例。当几台服务器server启动时，机器之间可以相互通信，进入leader选举过程。

1、每台的server发出一个投票，由于初始情况，server1 和server2都将自己作为leader服务器进行投票，每次投票包含所推举的服务器myid、zxid、epoch，使用（myid，zxid）表示，此时server1投票为（1，0），server2投票为（2，0），然后将各自投票发送给集群中其它机器。

2、接收来自各个服务器的投票。集群中的每个服务器收到投票后，首先判断该投票的有效性，如检查是否是本轮投票（epoch）、是否来自looking状态的服务器。

3、分别处理投票。针对每一次投票，服务器都需要将其它服务器的投票和自己的投票进行对比，对比规则如下：

• 优先比较epoch

• 检查zxid，比较zxid大的服务器优先作为leader

• 如果zxid相同，那么就比较myid，myid较大的服务器作为leader服务器

4、统计投票。每次投票后，服务器统计投票信息，判断是都有过半机器接收到相同的投票信息。server1、server2都统计出集群中有两台机器接收（2，0）的投票信息，此时已经选出了server2为leader节点。

5、改变服务器状态。一旦确定了leader，每个服务器响应更新自己的状态，如果是leader，变更leading。此时server3继续启动，直接加入变更自己为following。

9.2、运行过程中的leader选举

当集群中leader服务器出现宕机或者不可用情况时，整个集群无法对外提供服务，进入新一轮的leader选举。

1.变更状态。leader挂后，其它非oberver服务器将自身服务器状态变更为looking。

2.每个server发出一个投票。在运行期间，每个服务器上zxid可能不同。

3.处理投票

4.统计投票

5.改变服务器状态