当前位置:   article > 正文

hdfs分布式文件存储系统简介_hdfs存储是什么

hdfs存储是什么

Hadoopd分布式文件存储系统——hdfs

一、HDFS(Hadoop Distributed File System)架构简介

1.HDFS设计思想
随着数据量越来越大,在一个操作系统磁盘空间肯定存不下了,那么就需要分配到更多的操作系统管理的磁盘中,也就是常说的分布式存储-集群多机器存储。但是涉及多个机器存储,就不方便管理和维护。HDFS就是一个很好的分布式文件管理系统。它使用多台机器(一般是Linux)机器上的特定磁盘空间作为文件系统的存储空间,相当于整合了多台机器的存储空间为自己所用。扩大了存储空间。对于文件来说,HDFS也作出了一些特有的设计方式。它将每一个文件切分成多个块进行存储,将切分后的块分散存储到多台机器上,Hadoop2.x版本中默认块大小是128MB。比如一个文件大小300MB,那么在HDFS中,会被切分成三个数据块(128MB,128MB,44MB),三个块都是独立的,它们会被存储在不同的机器上。这样做的好处就是不会有超大文件的影响,最大的块只有128MB,对机器性能要求不高,可以部署在廉价的机器上。
从上面的设计中,可以看出HDFS至少要提供以下几项功能:

  • 要将文件进行切分;
  • 一个文件被切分后,被分成多少块,每个块存储在哪些机器上,这些都是需要记录的,不然,文件存进去了,不能查出来;
  • 数据丢失的问题,HDFS可以部署在廉价的机器上,那就会存在某个机器损坏,导致数据丢失,也就是说HDFS还得提供容错功能。HDFS采用的是副本机制,对切分后的文件块进行备份。

针对上面的设计思想和需要解决的功能,引出HDFS的架构。

2.hdfs组成架构
在这里插入图片描述
hdfs架构组成主要分为四部分:HDFS ClientNameNodeDataNodeSecondary NameNode

①:Client:客户端,用户自己编写的 Java hadoop API
  主要功能为:
(1)进行文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储。
(2)当我们要查询一个文件时,与NameNode交互,获取文件的位置信息。
(3)与DataNode交互,读取或者写入数据。
(4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS。
(5)Client可以通过一些命令来访问HDFS。

NameNode:元数据节点,是一个管理者,Master。hadoop集群中只能有一个活动的NameNode对外提供服务。
  主要功能为:
(1)管理HDFS的名称空间(文件目录树);HDFS很方便的一点就是对于用户来说很友好,用户不考虑细节的话,看到的目录结构和我们使用Window和Linux文件系统很像。
(2)管理数据块(Block)映射信息及副本信息;一个文件对应的块的名字以及块被存储在哪里,以及每一个文件备份多少都是由NameNode来管理。
(3)处理客户端读写请求。

③:DataNode:数据节点,实际存储数据块的节点,Slave。NameNode下达命令,DataNode执行实际的操作。
  主要功能为:
(1)存储实际的数据块。
(2)执行数据块的读/写操作。

④:Secondary NameNode:从元数据节点,并不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务,一个NameNode可以同时设置多个Secondary NameNode。
  主要功能为:
(1)辅助NameNode,分担其工作量。
(2)定期合并Fsimage和Edits,并推送给NameNode。
(3)在紧急情况下,可辅助恢复NameNode。
:Secondary NameNode的工作与HDFS设计是相关的,主要针对元数据设计的。它维护了两种文件Fsimage和Edits,Fsimage镜像文件,是元数据在某个时间段的快照,Edits记录了生成快照之后的一些列操作。HDFS在最初格式化启动时,创建Edits和Fsimage文件,并在内存中维护一版元数据信息,这时候,Fsimage和内存中的元数据信息是相同的。后续每一次客户端操作时,会先记录客户端执行的操作,这个操作是记录Edits在文件中的,然后再更新内存中对应的目录树结构,比如用户删除一个文件,会先在Edits文件中记录一个delete操作,然后在内存中真正删除改文件。也就是说,内存中的元数据信息是完整的。前面生成的快照Fsimage只是元数据的一部分,执行完Edits文件中相关操作才能与内存中元数据相同。
为什么要这么设计呢?
首先,为什么不直接更新Fsimage,而是要新添加Edits文件。这里就需要明确Fsimage里面存的是元数据目录树信息,其实是一个内存对象序列化后的内容。
要更新这个文件,首先得反序列化对象加载到内存中,在实际工作,这个文件是很大,序列化和反序列化过程会很繁重,速度会很慢。而
Edits文件只需要append操作记录即可。这样既保证了元数据不会丢失,也提高了性能。
SecondaryNameNode具体干什么事情?
当HDFS运行一段时间后,需要重启动时,需要将Fsimage加载到内存中,并把Eidts文件中的操作执行一遍,才是完整的元数据信息。假如操作记录比较频繁或者长时间没有重启过,Edits文件会很大。重启的时候合并Fsimage+Edits文件的操作也是很耗时的,增加了启动时间。SecondaryNameNode就是这种问题的,它是一个独立的进程,定期(满足一定条件)会将Fsimage+Edits合并成一个新的Fsimage,减少HDFS重启时间。

2.HDFS文件块大小
HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在Hadoop2.x版本中是128M,Hadoop1.x版本中是64M。
HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。如果块设置得足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,传输一个由多个块组成的文件的时间取决于磁盘传输速率。
如果寻址时间约为10ms,而传输速率为100MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为100MB。默认的块大小128MB。
块的大小:10ms100100M/s = 100M。

3.HDFS优缺点

优点
(1)高容错性
数据自动保存多个副本,它通过增加副本的形式,提高容错性。 某一个副本丢失以后,它可以自动恢复。
(2)适合处理超大文件

  • 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据。
  • 文件规模:能够处理百万规模以上的文件数量,数量相当之大。

(3)流式数据写入
一次写入,多次读取,能保证数据的一致性。
(4)可构建在廉价机器上,通过多副本机制,提高可靠性。

缺点
(1)不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。
(2)无法高效的对大量小文件进行存储。
存储大量小文件的话,它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的,因为NameNode的内存总是有限的。小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。
(3)不支持并发写入、文件随机修改。
一个文件只能有一个写,不允许多个线程同时写;
仅支持数据append(追加),写操作总是在文件的末尾,不支持文件的随机修改。

4.hdfs副本机制
默认副本数为3,避免数据丢失,从而提高了容错性
存放机制:一个在本地机架节点,一个在同一个机架不同节点,一个在临近的机架节点

二、HFDS的Shell操作

1.基本语法

hadoop/hdfs dfs 具体命令
  • 1

可输入:  hadoop/hdfs dfs
查看命令大全
在这里插入图片描述
2.命令实操

  1. -help:输出这个命令参数
hdfs dfs -help 具体命令
  • 1
  1. -ls: 显示目录信息
hdfs dfs -ls /路径
  • 1
  1. -mkdir:在hdfs上创建目录,加上 -p 创建多级目录
hdfs dfs -mkdir -p /tmp/test
  • 1
  1. -moveFromLocal:从本地剪切粘贴到hdfs
hdfs dfs -moveFromLocal 本地路径 /hdfs路径
  • 1

注:没有从hdfs剪切到本地的方法

  1. -copyFromLocal-put:从本地文件系统中拷贝文件到hdfs路径去
hdfs dfs -copyFromLocal/put 本地路径 /hdfs路径
  • 1
  1. -copyToLocal-get:从hdfs拷贝到本地
hdfs dfs -copyToLocal/get /hdfs路径 本地路径
  • 1
  1. -appendToFile :追加一个文件到已经存在的文件末尾
hdfs dfs -appendToFile 本地路径 /hdfs路径
  • 1
  1. -cat :显示文件内容
hdfs dfs -cat /hdfs路径
  • 1
  1. -chgrp-chmod-chown:与linux文件系统中的用法一样,修改文件所属权限
hdfs dfs -chmod 666 /hdfs路径
  • 1
  1. -cp :复制,从hdfs的一个路径拷贝到hdfs的另一个路径
hdfs dfs -cp hdfs路径1 hdfs路径2
  • 1
  1. 在hdfs目录中移动文件
hdfs dfs -mv hdfs路径1 hdfs路径2
  • 1
  1. -getmerge :合并下载多个文件,比如hdfs的目录/test/下有多个文件:log.1, log.2,log.3,…,合并下载会写入至指定的文件中
hdfs dfs -getmerge /test/* ./merge.txt
  • 1
  1. -rm:删除文件或文件夹
hdfs dfs -rm /hdfs路径
  • 1
  1. -rmdir:删除空目录
hdfs dfs -mkdir /hdfs空文件夹路径
  • 1
  1. -du统计文件夹的大小信息
hdfs dfs -du -s -h /hdfs文件夹路径
  • 1
  1. -setrep:设置hdfs中文件的副本数量
hdfs dfs -setrep 10 /hdfs文件路径
  • 1

这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10

三、使用Java API访问Hdfs服务器

https://blog.csdn.net/and52696686/article/details/107035849

四、hdfs读写流程

https://blog.csdn.net/and52696686/article/details/107135229

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/408085
推荐阅读
相关标签
  

闽ICP备14008679号