zookeeper的伪集群的搭建

1:单机模式
在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。
 tickTime=2000 
 dataDir=D:/devtools/zookeeper-3.2.2/build 
 clientPort=2181
tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。


2:集群模式


Zookeeper 不仅可以单机提供服务，同时也支持多机组成集群来提供服务。实际上 Zookeeper 还支持另外一种伪集群的方式，也就是可以在一台物理机上运行多个 Zookeeper 实例，下面将介绍集群模式的安装和配置。
Zookeeper 的集群模式的安装和配置也不是很复杂，所要做的就是增加几个配置项。集群模式除了上面的三个配置项还要增加下面几个配置项：
 initLimit=5 
 syncLimit=2 
 server.1=192.168.211.1:2888:3888 
 server.2=192.168.211.2:2888:3888
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。


除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。


3：zookeeper的数据存储结构，更加像一个标准的文件系统


Zookeeper 这种数据结构有如下这些特点：
每个子目录项如 NameService 都被称作为 znode，这个 znode 是被它所在的路径唯一标识，如 Server1 这个 znode 的标识为 /NameService/Server1
znode 可以有子节点目录，并且每个 znode 可以存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录
znode 是有版本的，每个 znode 中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据
znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，这个连接状态称为 session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了
znode 的目录名可以自动编号，如 App1 已经存在，再创建的话，将会自动命名为 App2
znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是 Zookeeper 的核心特性，Zookeeper 的很多功能都是基于这个特性实现的，后面在典型的应用场景中会有实例介绍




4：作为伪集群的安装


(1):创建目录zk1、zk2、zk3
echo "1" >> /home/wenyuancheng/zks/zk1/myid
echo "2" > /home/wenyuancheng/zks/zk2/myid
echo "3" > /home/wenyuancheng/zks/zk3/myid




(2):/home/wenyuancheng/zks/zkconf/conf 下的
a:zoo1.cfg内容如下：


tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wenyuancheng/zks/zk1
clientPort=2181
server.1=192.168.18.37:2888:3888
server.2=192.168.18.37:2889:3889
server.3=192.168.18.37:2890:3890




b:zoo2.cfg内容如下：
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wenyuancheng/zks/zk2
clientPort=2182
server.1=192.168.18.37:2888:3888
server.2=192.168.18.37:2889:3889
server.3=192.168.18.37:2890:3890


c:zoo3.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wenyuancheng/zks/zk3
clientPort=2183
server.1=192.168.18.37:2888:3888
server.2=192.168.18.37:2889:3889
server.3=192.168.18.37:2890:3890




./zkServer.sh start /home/wenyuancheng/zks/zkconf/conf/zoo1.cfg

./zkServer.sh status /home/wenyuancheng/zks/zkconf/conf/zoo1.cfg

5:集群中ip与域名的映射

最好添加上这样一个配置（日志文件的输出）：

dataLogDir=xxx/zookeeper/server1/dataLog

zk客户端查看节点信息

chmod +x zkCli.sh
./zkCli.sh -server 192.168.18.37:2181

[wenyuancheng@fengkong37 zk1]$ more /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.18.76 nameTest




192.168.18.84   zookeeper04 node4
192.168.18.83   zookeeper03 node3
192.168.18.82   zookeeper02 node2
192.168.18.76   zookeeper01 node1


192.168.18.37 fengkong37


192.168.10.170 bigdata0.nw.com bigdata0
192.168.10.171 bigdata1.nw.com bigdata1
192.168.10.172 bigdata2.nw.com bigdata2


192.168.18.76 hadoop1 
192.168.18.82 hadoop2 
192.168.18.83 hadoop3