Hadoop HDFS Shell操作_centos3.使用movefromlocal命令将本地文件test1.txt复制到hdfs文件系统

基本语法

hadoop fs +具体命令
hdfs dfs +具体命令

上传

1）-moveFromLocal：从本地剪切粘贴到 HDFS

$ hadoop fs -moveFromLocal ./xxx.txt/xx

当前目录下的txt文件上传到xx目录下，当前目录下的txt文件被剪贴

2）-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

$ hadoop fs -copyFromLocal xxx.txt /xx

当前目录下的txt文件上传到xx目录下，当前目录下的txt文件依然存在

3）-put：等同于 copyFromLocal，生产环境更习惯用 put

$ hadoop fs -put ./xxx.txt /xx

4）-appendToFile：追加一个文件到已经存在的文件末尾

$ hadoop fs -appendToFile abc.txt /xx/xxx.txt

下载

1）-copyToLocal：从 HDFS 拷贝到本地

$ hadoop fs -copyToLocal /xx/xxx.txt ./

2）-get：等同于 copyToLocal，生产环境更习惯用 get

$ hadoop fs -get /xx/xxx.txt ./xx2.txt

HDFS 直接操作

1）-ls: 显示目录信息

$ hadoop fs -ls /xx

2）-cat：显示文件内容

$ hadoop fs -cat /xx/xxx.txt

3）-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

$ hadoop fs -chmod 666 /xx/xxx.txt
$ hadoop fs -chown a:a /xx/xxx.txt

chmod [option] filename/dirname
注意：执行者必须是属主或root用户；
①、字母形式命令
给谁设置：
u：表示属主owner（user）
g：表示属组（group）
o：表示others，给其他用户设置权限
a：表示all，给所有人（包含ugo部分）设置权限
如果在设置权限的时候不指定给谁设置，则默认给所有用户设置

权限字符：
r：读
w：写
x：执行
-：表示没有权限

权限分配方式：
+：表示给具体的用户新增权限（相对当前）
-：表示删除用户的权限（相对当前）
=：表示将权限设置成具体的值（注重结果）【赋值】

②、数字形式命令
读：r 4
写：w 2
执行：x 1
没有任何权限：0 对应—

例如：需要属主全部权限；属组读加执行权限；other只读权限；
属主权限 = 全部权限 = 读 + 写 +执行 = 4 + 2 + 1 = 7
属组权限 = 读权限 + 执行权限 = 4 + 1 = 5
other用户权限 = 读权限 = 4
最终得出的结果是754

chown （change owner）
作用：改变文件或目录的属主和属组；
chown [-R] newuser dirname
注意:
①改文件不用加选项-R，该目录需要加选项-R；
②执行者必须为root；owner身份没有权限（其他人不想你随便把文件归给他）；
chown user:group filename 把文件的属主和属组改为user，group
chown user filename 把文件的属主改为user
chown :group filename 把文件的属组改为group
chown user: filename 自动继承user这个用户所有的组

4）-mkdir：创建路径

$ hadoop fs -mkdir /

5）-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

$ hadoop fs -cp /xx/xxx.txt /xx2

6）-mv：在 HDFS 目录中移动文件

$ hadoop fs -mv /xx/xxx.txt /xx2

7）-tail：显示一个文件的末尾 1kb 的数据

$ hadoop fs -tail /xx/xxx.txt

8）-rm：删除文件或文件夹

$ hadoop fs -rm /xx/xxx.txt

9）-rm -r：递归删除目录及目录里面内容

$ hadoop fs -rm -r /xx

10）-du 统计文件夹的大小信息
$ hadoop fs -du -s -h /jinguo
$ hadoop fs -du -h /jinguo
说明：13 表示文件大小；39 表示 13*3 个副本