HDFS常用命令

一、HDFS常用命令

1. 创建

创建指定路径文件夹

hdfs dfs -mkdir /user/zhaojuanjuan/syuchen_files
1

2. 查看

查看指定目录下的文件

hdfs dfs -ls /path
1

查看指定文件夹总大小

 hdfs dfs -du -s -h /path
1

查看指定目录下每一个文件夹的大小

hdfs dfs -du -h /path
1

直接查看gz文件内容

hadoop fs -cat /xxxx/xxx.gz | gzip -d
1

查看gz文件内容前几行

hadoop fs -cat /xxxx/xxx.gz | gzip -d | head -10
1

3. 移动与删除

移动文件

hdfs dfs -mv 源文件路径 目标路径
1

删除hdfs文件夹

hdfs dfs -rm -r /path
1

直接删除 不走回收站

hdfs dfs -rm -r -f -skipTrash /path
1

4. 上传与下载

上传文件

hdfs dfs -put /本地路径 /路径
1

正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式

ls /OriginalFilePath | grep -E "2020-09.*" | xargs -i hdfs dfs -put /OriginalFilePath/{} /targetFilePath
1

下载文件到本地

hdfs dfs -get /hdfs路径 /本地路径
1

5. 运维

检查当前是否处于安全模式

hdfs dfsadmin -safemode get
1

离开安全模式。一般都是因为空间满了就自动进入安全模式了，此时读写数据会报错

hdfs dfsadmin -safemode leave
1

二、yarn常用命令

yarn命令文档：Apache YARN Commands

查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）

yarn application -list
1

根据应用id强行终止指定应用

yarn application -kill appid
1

查看所有处于running状态的节点

yarn node -list
1

查看所有节点

yarn node -list -all
1