赞
踩
hdfs分布式文件系统 , 将一个大的文件拆分成多个小文件存储在多台服务器中,
文件系统: 目录结构(树状结构) "/" 树根, 目录结构在namenode中维护
1、创建目录 mkdir
mkdir : 创建目录
/data ; 路径 , 需要从 ”/“ 开始
hadoop dfs -mkdir /data
-p : 递归创建多级目录
hadoop dfs -mkdir -p /a/b/c
2、查看文件,ls 没有cd命令, 需要指绝对路径
hadoop dfs -ls /data
权限(rwx(当前用户的权限) ,r-x (当前用户组的权限) ,r-x 其他用户的权限))
drwxr-xr-x - root supergroup 0 2021-01-05 00:11 /a
drwxr-xr-x - root supergroup 0 2021-01-05 00:09 /data
3、上传文件 put
创建路径
hadoop dfs -mkdir /data/student
上传学生表的数据到hdfs, students.txt: linux本地的一个文件,/data/student: hdfs 目录
hadoop dfs -put students.txt /data/student
hadoop dfs -mkdir /data/score
hadoop dfs -put score.txt /data/score
hadoop dfs -mkdir /data/cource
hadoop dfs -put cource.txt /data/cource
4、下载文件 get
将hdfs文件下载到linux本地
hadoop dfs -get /data/student/students.txt
5、复制 cp
/data/a.txt :源文件或者目录
/ : 目标目录
hadoop dfs -cp /data/a.txt /
6、查看文件内容 cat , 如果数据量比较大,不能使用
hadoop dfs -cat /data/student/students.txt
7、移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)
hadoop dfs -mv /a.txt /a
8、删除文件或者目录 rmr
hadoop dfs -rmr /a/a.txt
并没有真正删除文件,只是将文件放到了回收站中,
/user/root/.Trash/Current ; 每一个用户都有一个回收
文件永久删除:
1、回收站自动清理
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
2、手动删除回收站
Hadoop dfs -rmr /user/root/.Trash/Current
3、强制删除,-skipTrash 当需要删除的文件比较大的时候
hadoop dfs -rmr -skipTrash /a
9、查看文件末尾 tail -f ; 一直等待查看
hadoop dfs -tail /data/student/students.txt
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。