当前位置:   article > 正文

Hadoop分布式文件系统HDFS原理以及操作(一)_hdfs的基本操作头歌答案

hdfs的基本操作头歌答案

HDFS简介:活动在集群上并支持以流式数据访问模式来存取超大文件。存储设计是把海量数据部 署在价格低廉的节点上,具有高容错性和高吞吐量特性。HDFS的设计首要是针对超大文件存储,而对于小的文件访问和存储速度反而会降低。

HDFS体系结构

HDFS集群有两类节点并以管理者-工作者模式(Master-Slave)运行,一个管理者和多个工作者。

一个HDFS集群是由一个名字节点(NameNode)和若干数据节点(DataNode)组成。HDFS是一个主从结构。

HDFS文件存储机制:

高吞吐量访问:HDFS的每个Block(大文件分块)分布在不同的Rack(机架服务器)上,在用户访问时,HDFS会计算使用最近和访问量最小的服务器给用户提供。不同的分块分布到不同的节点上,可以实现对同一个文件不同分块的并行读取,因此速度和效率高。

高容错性:系统故障是不可避免的,如果某个数据节点的服务器突然宕机,由于其上的数据分块在其他数据节点上还有备份,因此可以及时恢复且不影响文件读写

HDFS Shell基本命令

1.执行命令:start-dfs.sh,启动HDFS进程。

2.启动HDFS后,通过jps命令查看HDFS服务是否启动,执行:jps,查看运行的进程。

3.查看所有HDFS Shell用户命令解释:hdfs dfs -help

4.如下图命令

 

 5.查看HDFS指定目录下的文件内容,执行hdfs dfs -cat /words.txt

 6.把HDFS根目录下文件下载到本地目录下,执行命令:hdfs dfs -get /words.txt /本地

7.把HDFS上指定的文件移动到指定的HDFS位置,执行命令:hdfs dfs -mv /words.txt /wordscp.txt

8.查看HDFS上指定目录下的文件,示例是根目录下:hdfs dfs -ls /

9.删除hdfs系统中的目录,执行hdfs dfs -rm -r /(目录名或者文件名)

10.在hdfs系统指定的目录下创建一个文件,执行:hdfs dfs -touchz /newword.txt

11.在HDFS系统的指定位置创建一个目录,执行:hdfs dfs -mkdir -p /aa/bb/cc

12.将指定的本地文件移动到HDFS系统指定的位置,执行:hdfs dfs -moveFromLocal /simple/words.txt  /aa

13.修改HDFS系统中指定文件或文件夹的用户所属组,执行:hdfs dfs -chgrp -R root /

14.改变指定目录文件的权限,-R指修改该目录下所有文件夹及其子文件夹的权限,例如执行:hdfs dfs -chmod -R 777 /

15.改变文件的所有者,用户必须是超级用户,执行:hdfs dfs -chown -R root:supergroup /

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/634347
推荐阅读
相关标签
  

闽ICP备14008679号