当前位置:   article > 正文

Hadoop 3.x|第四天|HDFS的Shell操作_从本地剪切到hdfs中

从本地剪切到hdfs中

前言

hadoop fs xxx
  • 1

hdfs dfs xxx
  • 1

是同样的命令

上传

1.启动Hadoop集群

启动Hadoop集群

sbin/start-dfs.sh
sbin/start-yarn.sh
  • 1
  • 2

2.创建文件夹

参数:-mkdir

hadoop fs -mkdir /sanguo
  • 1

3.从本地剪切到HDFS

参数:-moveFromLocal

 hadoop fs -moveFromLocal ./shuguo.txt /sanguo
  • 1

4.从本地拷贝文件到HDFS中

参数:-copyFromLocal

hadoop fs -copyFromLocal weiguo.txt /sanguo
  • 1

参数:-put,等同与上面那个

hadoop fs -put ./wuguo.txt /sanguo
  • 1

5.追加一个文件到已经存在的文件末尾

-appendToFile

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
  • 1

下载

1.从HDFS拷贝到本地

参数:-copyToLocal

hadoop fs -copyToLocal /sanguo/shuguo.txt ./
  • 1

参数:-put

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
  • 1

直接操作

1.统计文件夹的大小信息

参数:-du

[yjr@hadoop102 hadoop-3.1.3]$hadoop fs -du -h /jinguo

14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx
  • 1
  • 2
  • 3
  • 4
  • 5

14表示文件大小,42表示 14*3 个副本,/jinguo 表示查看的目录

2.设置 HDFS 中文件的副本数量

参数:-setrep

hadoop fs -setrep 10 /jinguo/shuguo.txt
  • 1

这里设置的副本数只是记录在 NameNode 的元数据中,是否真的会有这么多副本,还得看 DataNode 的数量。
因为目前只有 3 台设备,最多也就 3 个副本,只有节点数的增加到10台时,副本数才能达到 10。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/721084
推荐阅读
相关标签
  

闽ICP备14008679号