Hadoop3：HDFS的Shell操作（常用命令汇总）

一、简介

什么是HDFS的Shell操作？
很简单，就是在Linux的终端，通过命令来操作HDFS。

如果，你们学习过git、docker、k8s，应该会发现，这些命令的特点和shell命令非常相似

二、常用命令

1、准备工作相关命令

启动集群

sbin/start-dfs.sh
sbin/start-yarn.sh
1
2

查看命令帮助

hadoop fs -help rm
1

创建/sanguo文件夹

hadoop fs -mkdir /sanguo
1

2、上传

1、-moveFromLocal：从本地剪切粘贴到HDFS

hadoop fs -moveFromLocal ./shuguo.txt /sanguo
1

2、-copyFromLocal：从本地拷贝文件到HDFS指定路径中

hadoop fs -copyFromLocal ./weiguo.txt /sanguo
1

3、-put：等同于 copyFromLocal，生产环境更习惯用 put

hadoop fs -put ./wuguo.txt /sanguo
1

4、-appendToFile：追加一个文件中的内容到HDFS中已经存在的文件末尾

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
1

注意
此命令可能遇到的错误

解决办法
在hdfs-site.xml文件中添加如下配置，重启Hadoop集群即可

  <property>
       <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
       <value>NEVER</value>
  </property>
1
2
3
4

参考：Hadoop的append命令报错的解决办法

3、下载

1、-copyToLocal：从HDFS拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo.txt ./
1

2、-get：等同于 copyToLocal，生产环境更习惯用 get

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
1

4、文件的常用操作

1、-ls: 显示目录信息

hadoop fs -ls /sanguo
1

2、-cat：显示文件内容

hadoop fs -cat /sanguo/shuguo.txt
1

3、-chgrp、 -chmod、 -chown ：同Linux文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 777 /sanguo/shuguo.txt
1

4、-mkdir：创建路径

hadoop fs -mkdir /jinguo
1

5、-cp：从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs -cp /sanguo/shuguo.txt /jinguo
1

6、-mv：在HDFS目录中移动(剪切)文件

hadoop fs -mv /sanguo/weiguo.txt /jinguo
1

7、-tail：显示一个文件的末尾1kb的数据

hadoop fs -tail /jinguo/shuguo.txt
1

8、-rm：删除文件或文件夹

hadoop fs -rm /sanguo/shuguo.txt
1

9、-rm -r 递归删除目录及目录里面的文件

hadoop fs -rm -r /sanguo
1

10、-du统计文件夹的大小信息

hadoop fs -du -s -h /jinguo
hadoop fs -du -h /jinguo
1
2

说明： 27表示一个节点上文件大小；81表示27*3个副本的总大小；/jinguo表示查看的目录

11、-setrep：设置HDFS中文件的副本数量

hadoop fs -setrep 10 /jinguo/shuguo.txt
1

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有 3台 设备，最多也就 3个 副本，只有节点数的增加到10台时副本数才能达到10个，当然，节点数超过10个，副本数也只能是10个。