当前位置:   article > 正文

hadoop HDFS常用的命令

hadoop HDFS常用的命令

先简单理解:
用法我先理解为,类似于 linux 命令前面加个hadoop fs -
如,hadoop fs -ls ,hadoop fs -mkdir

显示目录下文件 ls

hadoop fs -ls

查看文件内容 cat

hadoop fs -cat test.txt

建目录 mkdir

hadoop fs -mkdir log_data

拉 hdfs 上的文件到本地 get

hadoop fs -get hdfs路径 本地路径
type hadoop 可获取 hadoop 的绝对路径

合并文件到本地 getmerge

好用!
getmerge 拉下来后,直接就把所有的 part-XXX 的内容合并到一起了。
hadoop fs -getmerge hdfs路径/文件夹 本地路径
hadoop fs -getmerge -nl hdfs路径/文件夹 本地路径 加 nl,合并到本地文件中的 hdfs 文件之间会空出一行。

上传本地文件到 hdfs put

hdfs fs -put 本地文件 hdfs路径

查文件数量 count

hdfs fs -count 文件夹路径
显示为路径下目录个数,文件个数,文件总计大小 (是 B 吧),输入路径

显示文件的大小 du

显示路径下所有文件的大小,或者当只指定一个文件时,显示此文件的大小。

删除

删除的时候谨慎
hadoop fs -rm 删除文件
hadoop fs -rmr 删除文件夹
删除后会放到回收站 (Moved to trash)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/426621
推荐阅读
相关标签
  

闽ICP备14008679号