当前位置:   article > 正文

Hadoop HDFS 常用Shell命令 | 图文详解_movefromlocal命令举例

movefromlocal命令举例

HDFSHadoop的分布式文件系统,负责海量数据的存取
在这里插入图片描述
HDFS系列文章请参考:


一、命令大全

在终端输入hadoop fs或者hdfs dfs可以查看所有的命令:
在这里插入图片描述
如果想要知道某个命令具体是怎么用的,可以使用-help输出这个命令参数

比如:

hadoop fs -help rm
  • 1

输出的内容有:该命令的解释以及可以追加的参数

在这里插入图片描述


二、上传

1、-mkdir 创建文件夹

hadoop fs -mkdir /sanguo
  • 1

在这里插入图片描述

2、-moveFromLocal 从本地剪切粘贴到HDFS

vim shuguo.txt
# 在该文件中输入:shuguo

# 剪切粘贴到HDFS
hadoop fs -moveFromLocal ./shuguo.txt /sanguo
  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述
在这里插入图片描述

3、-copyFromLocal 或 -put从本地复制到HDFS

-copyFromLocal等同于-put,在生产环境中更多使用-put

vim weiguo.txt
# 在该文件中输入:weiguo

# 复制到HDFS
hadoop fs -copyFromLocal weiguo.txt /sanguo
# 或
hadoop fs -put weiguo.txt /sanguo
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

在这里插入图片描述
在这里插入图片描述

4、-appendToFile 追加一个文件到已存在的文件末尾

vim liubei.txt
# 在该文件中输入:liubei

# 执行追加
hadoop fs -appentToFile liubei.txt /sanguo/shuguo.txt
  • 1
  • 2
  • 3
  • 4
  • 5

在这里踩个坑,执行插入命令之后如果报以下错误:
在这里插入图片描述
需要在hadoop3.1.3/etc/hadoop/hdfs-site.xml中插入以下配置:

<!--解决Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being availa 异常 -->
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
  <value>NEVER</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

然后分发配置,重启hdfs,再次执行上面的命令,到hdfs中查看效果:
在这里插入图片描述

三、下载

-copyToLocal 或 -get 从HDFS拷贝到本地

-copyToLocal等同于-get,在生产环境中更多使用-get

# 从hdfs中下载shuguo.txt,在此命令中还可以更改文件名
hadoop fs -copyToLocal /sanguo/shuguo.txt ./shuguo1.txt
# 或者使用get
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txx
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

四、HDFS直接操作

1、-ls 显示目录信息

hadoop fs -ls /sanguo
  • 1

在这里插入图片描述

2、-cat 显示文件内容

hadoop fs -cat /sanguo/shuguo.txt
  • 1

在这里插入图片描述

3、-chgrp、-chmod、-chown 修改文件所属权限

# 更改文件权限
hadoop fs -chmod 777 /sanguo/shuguo.txt

# 更改文件的拥有者
hadoop fs -chown wzq:wzq /sanguo/shuguo.txt
  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述

4、-cp 或 -mv 从HDFS的一个路径拷贝或移动到HDFS的另一个路径

# 在hdfs根目录下创建文件夹jinguo
hadoop fs -mkdir jinguo

# 把/sanguo/shuguo.txt复制到/jinguo 
hadoop fs -cp /sanguo/shuguo.txt /jinguo

# 把/sanguo/weiguo.txt移动到/jinguo
hadoop fs -mv /sanguo/weiguo.txt /jinguo
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

在这里插入图片描述
在这里插入图片描述

5、-tail 显示一个文件的末尾1kb的数据

hadoop fs -tail /jinguo/shuguo.txt
  • 1

在这里插入图片描述

6、-rm 或 -rm -r 删除文件[夹] ,或递归删除目录及内容

# 删除/sanguo/shuguo.txt
hadoop fs -rm /sanguo/shuguo.txt

# 递归删除/sanguo目录下所有内容
hadoop fs -rm -r /sanguo
  • 1
  • 2
  • 3
  • 4
  • 5

在这里插入图片描述

7、-du 统计文件夹的大小信息

显示整个文件夹大小信息:

hadoop fs -du -s -h /jinguo
  • 1

在这里插入图片描述

显示文件夹里的内容大小信息:

hadoop fs -du -h /jinguo
  • 1

在这里插入图片描述

8、-setrep 设置HDFS中副本数量

hadoop fs -setrep 10 /jinguo/shuguo.txt
  • 1

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/715763
推荐阅读
相关标签
  

闽ICP备14008679号