集群中文件分发脚本、同步操作脚本、zookeeper群起群停脚本、kafka群起脚本_myzk

昨晚承诺今晚上给大家写一篇博文教一下向我一样刚入门大数据的同学如何能够使用脚本方便我们的学习，方便我们对集群的使用。虽然今天刚外出学习回来比较累，但是依然还是要实现自己说的话，希望我们大家都可以在学习的进程不断坚持。获取到更多的专业知识，未来有更好的就业机会和选择！

我这里的方法主要是针对集群的使用：hadoop集群 、spark集群、kafka集群、zookeeper集群，，脚本编写在/root/bin/目录下 编写完后保存，然后对文件进行赋权限 chmod u+x 文件名

目录

准备工作

• 三台主机：ethan001 ethan002 ethan003(以自己的命名为主)

• 集群的主机间配置好免密登录

• 在/etc/目录下的profile文件中配置好安装的软件的环境变量
  vi /etc/profile
  以下配置联系自己的实际安装位置，我这里只是给大家做个展示效果
  

• 在/root/目录下创建一个bin目录
  mkdir bin
  

• 在/root/目录下的.bashrc文件的最后加入让环境变量生效的指令
  vi .bashrc
  加入下面内容:
  source /etc/profile
  

脚本应用

注意：以下脚本都创建在前面创建的/root/bin/目录下,并且编写完脚本后要进行赋权限才能使用！！！

1. 分发脚本(xsync)

**含义**：
>在集群中使用"脚本+文件/目录名"，可以将此文件/目录分发到集群中的另外两台节点对应的目录下

**脚本内容**：
```java
#!/bin/bash
#校验参数是否合法
if(($#==0))
then
        echo 请输入要分发的文件!
        exit;
fi
#获取分发文件的绝对路径
dirpath=$(cd `dirname $1`; pwd -P)
filename=`basename $1`

echo 要分发的文件的路径是:$dirpath/$filename

#循环执行rsync分发文件到集群的每条机器
for i in ethan001 ethan002 ethan003 
do
        echo ---------------------$i---------------------
        rsync -rvlt $dirpath/$filename  root@$i:$dirpath
done

```
**使用方法**：
将文件he分发到另外两台节点对应的/root/目录下![在这里插入图片描述](https://img-blog.csdnimg.cn/672185d9481846988b8cb353ad3b60c3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pWw5o2u5piv5Liq5a6d,size_20,color_FFFFFF,t_70,g_se,x_16)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

2. 同步操作脚本(xcall)

含义：

在集群中使用"脚本+命令"，可以让集群中的三台节点同时执行同一个命令。

脚本内容：

#!/bin/bash
#在集群的所有机器上批量执行同一条命令
if(($#==0))
then
        echo 请输入您要操作的命令！
        exit
fi

echo 要执行的命令是$*

#循环执行此命令
for i in ethan001 ethan002 ethan003 
do
        echo ---------------------$i-----------------
        ssh $i $*
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

使用方法：
对三台节点执行同一个命令（jps）示例

3. zookeeper群起脚本(myzk)

含义：

在集群中使用"脚本"，可以让集群中的三台节点同时启动zookeeper服务。

脚本内容：

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/zookeeper-3.4.5/bin/zkServer.sh start'
echo $?
done
1
2
3
4
5
6

使用方法：
直接使用myzk

4. zookeeper群停脚本(myzkstop)

含义：

在集群中使用"脚本"，可以让集群中的三台节点同时关闭zookeeper服务。

脚本内容：

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/zookeeper-3.4.5/bin/zkServer.sh stop'
echo $?
done
1
2
3
4
5
6

使用方法：
直接输入myzkstop

5. kafka群起脚本

含义：

在集群中使用"脚本"，可以让集群中的三台节点同时启动kafka服务。

脚本内容：

for i in ethan001 ethan002 ethan003
do
echo "========== $i =========="
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done	
1
2
3
4
5
6

使用方法：
直接输入mykf

由于时间比较短，如果您使用有错误存在请在评论区留下你的评论，我会以最快的速度进行更改
感谢一键三连的伙伴，，一起加油！一起交流学习，共同进步！

---