- 1【Linux】文件打包解压_tar_zip
- 2一个 3 年 Java 程序员 5 家大厂的面试总结（已拿 Offer）_3年后端大厂真实面经
- 3java8-Stream流_stream流复杂caoz
- 4【KTips】在Kotlin中实现一个十分简单的自循环状态机
- 5git Bash 生成SSH密钥步骤_gitbash密钥
- 6基于SpringBoot的美食分享平台_美食分享系统数据设计
- 7豆瓣读书top250数据爬取与可视化_书籍出版时间爬虫可视化怎么写
- 8微信公众号图片防盗链机制的应对办法^-^_mmbiz.qpic.cn
- 9Java配置方式使用Spring MVC_java spring mvc
- 10kkFileView部署
【Hadoop-HDFS】HDFS常用操作命令_hadoop怎么复制粘贴
赞
踩
【Hadoop-HDFS】HDFS常用操作命令
- 1）显示目录信息（-ls）
- 1）在 HDFS 上创建目录（-mkdir）
- 2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）
- 3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put）
- 4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get）
- 5）在 HDFS 里拷贝文件路径到另一个路径上（-cp）
- 6）追加文件到 HDFS 里的文件末尾（-appendToFile）
- 7）显示文件内容（-cat）
- 8）修改文件所属权限（-chmod）
- 9）移动文件（-mv）
- 10）从 HDFS 里合并下载多个文件到本地（-getmerge）
- 11）删除文件或文件夹（-rm）
- 12）设置 HDFS 中文件的副本数量（-setrep）
- 13）查看 HDFS 目录数据量（-du）
- 14）创建一个零长度的文件（-touchz）
- 15）显示文件所占块数（-stat）
- 16）显示文件的最后1kb内容到标准输出（-tail）
- 17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count）
- 18）从 HDFS 上过滤包含某个字符的行内容（-grep）
1）显示目录信息（-ls）
hadoop fs -ls /
1）在 HDFS 上创建目录（-mkdir）
普通创建：hadoop fs -mkdir /xiaolin
递归创建：hadoop fs -mkdir -p /xiaolin/xiaoyin
2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）
mkdir xuan.txt
hadoop fs -moveFromLocal xuan.txt /xiaolin
3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put）
hadoop fs -copyFromLocal xuan.txt /
hadoop fs -put xuan.txt /
- 文件名称相同时覆盖hdfs上的文件：
-f
hadoop fs -put -f xuan.txt /
4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get）
hadoop fs -copyToLocal /xiaolin ./
hadoop fs -get /xiaolin ./
5）在 HDFS 里拷贝文件路径到另一个路径上（-cp）
hadoop fs -mkdir /xiaona
hadoop fs -cp /xiaolin/xuan.txt /xiaona/
6）追加文件到 HDFS 里的文件末尾（-appendToFile）
vim zero.txt
hadoop fs -appendToFile zero.txt /xiaolin/xuan.txt
7）显示文件内容（-cat）
hadoop fs -cat /xiaolin/xuan.txt
8）修改文件所属权限（-chmod）
hadoop fs -chmod 777 /xiaolin/xuan.txt
9）移动文件（-mv）
hadoop fs -mv /xiaolin/xuan.txt /xiaolin/xiaoyin
10）从 HDFS 里合并下载多个文件到本地（-getmerge）
hadoop fs -getmerge /xiaolin/* ./
11）删除文件或文件夹（-rm）
hadoop fs -rm /xiaolin/xiaoyin
12）设置 HDFS 中文件的副本数量（-setrep）
hadoop fs -setrep 5 /xiaolin/xuan.txt
13）查看 HDFS 目录数据量（-du）
Usage：hdfs dfs -du [-s] [-h] URI [URI …]
-s选项将显示文件长度的汇总摘要，而不是单个文件。
-h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）
14）创建一个零长度的文件（-touchz）
hdfs dfs -touchz URI [URI …]
15）显示文件所占块数（-stat）
Usage：hdfs dfs -stat URI [URI …]
(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)
16）显示文件的最后1kb内容到标准输出（-tail）
Usage：hdfs dfs -tail [-f] URI
17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count）
Usage: hdfs dfs -count [-q] [-h] < paths>
18）从 HDFS 上过滤包含某个字符的行内容（-grep）
Usage：hdfs dfs -cat < srcpath> | grep 过滤字段
