Hadoop；DataNode多目录配置（增加硬盘）_新增分区datanode挂载多目录

DataNode多目录配置

1）DataNode可以配置成多个目录，每个目录存储的数据不一样（数据不是副本）

2）具体配置如下
在hdfs-site.xml文件中添加如下内容。

<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>
1
2
3
4

3）查看结果

[atguigu@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data1
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data2
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2
1
2
3
4
5
6

4）向集群上传一个文件，再次观察两个文件夹里面的内容发现不一致（一个有数一个没有）

hadoop fs -put wcinput/word.txt /
1

集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性）。
（1）生成均衡计划（我们只有一块磁盘，不会生成计划）

hdfs diskbalancer -plan hadoop102
1

（2）执行均衡计划

hdfs diskbalancer -execute hadoop102.plan.json
1

（3）查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop102
1

（4）取消均衡任务

hdfs diskbalancer -cancel hadoop102.plan.json
1