zookeeper最基础教程_zk教程

---

一、简介

1、工作机制

官方地址：https://zookeeper.apache.org/

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

• Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

2、特点

• Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
• 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
• 全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
• 更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行。
• 数据更新原子性，一次数据更新要么成功，要么失败。
• 实时性，在一定时间范围内，Client能读到最新数据。

3、数据结构

• ZooKeeper数据模型的结构与Unix文件系统很类似。
• 整体上可以看作是一棵树，每个节点称做一个ZNode。
• 每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

4、应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

• 统一命名服务
• 统一配置管理
• 统一集群管理
• 服务器节点动态上下线
• 软负载均衡等

统一命名服务

• 在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。

统一配置管理

• 分布式环境下，配置文件同步非常常见。

  • 一般要求一个集群中，所有节点的配置信息是一致的，比如 Kafka 集群。
  • 对配置文件修改后，希望能够快速同步到各个节点上。

• 配置管理可交由ZooKeeper实现。

  • 可将配置信息写入ZooKeeper上的一个Znode。
  • 各个客户端服务器监听这个Znode。
  • 一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。

统一集群管理

• 分布式环境中，实时掌握每个节点的状态是必要的。
  • 可根据节点实时状态做出一些调整。
• ZooKeeper可以实现实时监控节点状态变化。
  • 可将节点信息写入ZooKeeper上的一个ZNode。
  • 监听这个ZNode可获取它的实时状态变化。

服务器动态上下线

软负载均衡

• 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

5、选举机制

首次启动

• 1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
• 2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING。
• 3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
• 4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
• 5）服务器5启动，同4一样当小弟。

非第一次启动

二、软件安装

# The number of milliseconds of each tick
# 通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
tickTime=2000d

# The number of ticks that the initial 
# synchronization phase can take
# LF初始通信时限
initLimit=10

# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
# LF同步通信时限
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#dataDir=/tmp/zookeeper
# 保存Zookeeper中的数据
dataDir=/opt/module/zookeeper-3.5.7/zkData

# the port at which the clients will connect
#客户端连接端口，通常不做修改
clientPort=2181
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

1、单机版安装

安装JDK(首先需要安装JDK)

yum install java-1.8.0-openjdk-devel.x86_64 
1

创建文件/opt/module

mkdir /opt/module
cd /opt/module
1
2

下载文件

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
1

解压文件

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module
1

修改安装目录名

mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7
1

配置环境变量

vim /etc/profile.d/my_env.sh

# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin
1
2
3
4
5

加载环境变量

source /etc/profile
1

添加配置文件

cd /opt/module/zookeeper-3.5.7/conf/
mv zoo_sample.cfg zoo.cfg
1
2

修改配置文件

vim zoo.cfg
#	修改数据所在文件
dataDir=/opt/module/zookeeper-3.5.7/zkData
1
2
3

创建日志目录

mkdir /opt/module/zookeeper-3.5.7/zkData
1

启动zookeeper

bin/zkServer.sh start
1

查询启动状态

# 查看进程
jps
# 查看状态
bin/zkServer.sh status
1
2
3
4

启动客户端

bin/zkCli.sh
1

退出客户端

quit
1

停止zookeeper

bin/zkServer.sh stop
1

2、集群安装

安装JDK(首先需要安装JDK)

yum install java-1.8.0-openjdk-devel.x86_64 
1

创建文件/opt/module

mkdir /opt/module
cd /opt/module
1
2

下载文件

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
1

解压文件

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module
1

修改安装目录名

cd /opt/module
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7
1
2

创建数据存储目录

cd /opt/module/zookeeper-3.5.7/
mkdir zkData
1
2

在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件

在文件中添加与server对应的编号（注意：上下不要有空行，左右不要有空格）

cd /opt/module/zookeeper-3.5.7/zkData
vim myid
#	服务器编号，每台服务器要不同
1
1
2
3
4

配置zoo.cfg配置文件

cd /opt/module/zookeeper-3.5.7/conf
mv zoo_sample.cfg zoo.cfg
1
2

修改配置文件

vim /opt/module/zookeeper-3.5.7/conf/zoo.cfg

#	修改数据存储位置
dataDir=/opt/module/zookeeper-3.5.7/zkData

# 增加集群配置
#######################cluster##########################
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
1
2
3
4
5
6
7
8
9
10

启动集群(3台都要启动)

cd /opt/module/zookeeper-3.5.7
bin/zkServer.sh start
1
2

查看状态

bin/zkServer.sh status
1

3、配置参数解读(zoo.cfg)

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

# 通信心跳时间
tickTime=2000
# LF初始通信时限
initLimit=10
# LF同步通信时限
syncLimit=5
# 保存Zookeeper中的数据
dataDir=/tmp/zookeeper
# 客户端连接端口，通常不做修改
clientPort=2181
1
2
3
4
5
6
7
8
9
10

• tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

• initLimit = 10：LF初始通信时限

Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）

• syncLimit = 5：LF同步通信时限

Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

• dataDir：保存Zookeeper中的数据

注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。

• clientPort = 2181：客户端连接端口，通常不做修改。

4、ZK集群启动脚本

#!/bin/bash

case $1 in
"start"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
};;
"stop"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 停止 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
};;
"status"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 状态 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
	done
};;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

三、命令行操作

1、语法

2、使用

启动客户端

bin/zkCli.sh -server hadoop101:2181
1

显示所有操作命令

help
1

查看当前znode中所包含的内容

ls /
1

查看当前节点详细数据

ls -s /
1

• czxid：创建节点的事务zxid
  • 每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。
• ctime：znode被创建的毫秒数（从1970年开始）
• mzxid：znode最后更新的事务zxid
• mtime：znode最后修改的毫秒数（从1970年开始）
• pZxid：znode最后更新的子节点zxid
• cversion：znode子节点变化号，znode子节点修改次数
• dataversion：znode数据变化号
• aclVersion：znode访问控制列表的变化号
• ephemeralOwner：如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。
• dataLength：znode的数据长度
• numChildren：znode子节点数量

3、节点相关

节点可以分为持久节点、短暂节点。

• 持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除。
  • 持久化目录节点客户端与Zookeeper断开连接后，该节点依旧存在
  • 持久化顺序编号目录节点客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
• 短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除。
  • 临时目录节点客户端与Zookeeper断开连接后，该节点被删除。
  • 临时顺序编号目录节点客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。

注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

分别创建2个普通节点（创建节点时，要赋值）

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"
1
2

获取子节点

ls /sanguo
1

获取sanguo的值

get -s /sanguo
1

• 普通节点：create /test/test1 "zhansan01"
• 带序号节点：create -s /test/test1 "zhansan01"：创建的节点带序号test1000001
• 短暂节点：create -e /test/test1 "zhansan01"：关闭客户端后会消失(临时)

创建普通节点

create /test/test1 "zhansan01"
1

创建带序号节点

create -s /test/test2/test21 "zhansan02"
create -s /test/test2/test22 "lisi02"
create -s /test/test2/test23 "wangwu02"
1
2
3

创建短暂节点(关闭客户端后消失)

create -e /test/test3 "zhansan03"
#	创建短暂的带序号的节点
create -e -s /test/test3 "lisi03"
1
2
3

修改节点的值

set /test/test3 "wangwu03"
1

4、监听器原理

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时，ZooKeeper会通知客户端。监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

监听原理

• 1）首先要有一个main()线程
• 2）在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）。
• 3）通过connect线程将注册的监听事件发送给Zookeeper。
• 4）在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
• 5）Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
• 6）listener线程内部调用了process()方法。

常见的监听

#监听节点数据的变化
get path [watch]
# 监听子节点增减的变化
ls path [watch]
1
2
3
4

监控/test值变化

get -w /test
#	更新/test值
set /test "zhangsan"
1
2
3

注意：在hadoop103再多次修改/sanguo的值，hadoop104上不会再收到监听。因为注册一次，只能监听一次。想再次监听，需要再次注册。

监控子目录变化

ls -w /test
#	新建子目录值
create /test/test4 "zhangsan04"
1
2
3

注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。

5、节点删除与查看

删除节点

delete /test/test4
1

递归删除节点

deleteall /test/test2
1

查看节点状态

stat /test
1

三、写数据流程