devbox
菜鸟追梦旅行
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

一、大数据技术基础——分布式文件系统HDFS

作者：菜鸟追梦旅行 | 2024-04-11 23:11:12

赞

踩

分布式文件系统hdfs

目录

1.引入

1.1.传统存储系统面临的难题

1.2.解决之道

2.Hadoop集群架构

3.HDFS 1.0

3.1.概念

3.2.Block块

3.3.NameNode维护文件：fsimage与editlog

3.4.DataNode

3.5.HDFS1.0架构的局限性

3.6. SecondaryNamenode

4.HDFS2.0

4.1.HA架构

4.2.联邦架构

5.HDFS读写入数据流程 

5.1.写入数据流程

5.2.读取数据流程

5.3.HDFS的存储机制

5.3.1.HDFS数据副本放置策略

5.3.2.HDFS的异构存储

6.HDFS常用命令

7.补充：对象存储服务OBS

1.引入

1.1.传统存储系统面临的难题

① 海量数据存储，如何统一管理和统一调度
② 大容量并发读写，设备性能成为瓶颈
③ 设备故障须及时修复，维护成本激增
④ 不同的应用系统间数据难以融合

1.2.解决之道

① 提供分布式文件系统，数据调度与存储分离
② 将单打独斗升级为团队作战
③ 由及时维护转变为定期维护
④ 将各种数据融合，提供统一接口

2.Hadoop集群架构

                        图2-1 Hadoop集群架构

NameNode和DataNode为存储节点（HDFS)     JobTracker和TaskTracker为计算节点(MapReduce)

NameNode存储元数据，管理文件系统的命名空间(包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等)，DataNode存储实际的数据。

JobTracker将任务拆分为多个小的任务，TaskTracker完成分配到的小任务。

3.HDFS 1.0

3.1.概念

        HDFS是一种可以运行在低廉的设备组成的集群上，并且是通过 流式数据访问 的方式进行 超大文件 存储的分布式文件（存储管理）系统。

                                          图3-1  HDFS的结构

        HDFS通常的部署是NameNode程序单独运行于一台服务器节点上（主服务器），其余的服务器节点每台运行一个DataNode程序。

3.2.Block块

        物理磁盘中有块的概念，磁盘的物理Block是磁盘操作最小的单元，读写操作均以Block为最小单元，一般为512 Byte。
        文件系统在物理Block之上抽象了另一层概念，文件系统Block物理磁盘Block的整数倍，通常为几KB。    
        HDFS的Block块比一般单机文件系统大得多，默认为64MB。（从2.7.3版本开始，blocksize由默认64 MB变成128 MB）。

                                 图3-2 名称节点和数据节点

3.3.NameNode维护文件：fsimage与editlog

        NameNode存在内存中，当断电后就丢失，因此也要进行持久化存储。

        fsimage就是在某一时刻，整个HDFS的快照，就是这个时刻HDFS上：所有的文件块和目录，分别的状态，位于哪些个DataNode ，各自的权限，各自的副本个数。

        Editlog记录客户端对HDFS所有的更新操作，比如说移动数据，或者删除数据。

        NameSpace镜像文件（fsimage），操作日志文件（edit log）这些信息被Cache在RAM内存中，这两个文件也会被持久化存储在本地硬盘。

        比如，在1:00:00时刻记录了一个快照fsimage，那么从1:00:00到1:59:59期间的所有对HDFS更新的操作都会记录在editlog中。当NameNode发生故障时，重启服务器，Fsimage加上Editlog的数据就会恢复元数据。

3.4.DataNode

        每个DataNode会周期性的向Namenode发送心跳消息，报告自己所在DataNode的使用状态和block信息。

  • 如果在一定时间后还接受不到DN的心跳，那么NN认为DN已经宕机 ，这时候NN准备要把DN上的数据块进行重新的复制。
  • DN还会向NN发送当前节点的使用状态以便NN进行DN选择策略。

        两种策略类型：轮询（round-robin）和可用空间（available space ）：

        ①轮询策略在可用磁盘上均匀分配新块。
        ②可用空间策略优先将数据写入具有最多可用空间（按百分比）的磁盘。
  • DN向NN发送Block信息：有可能DN上的数据块会被修改，需告知NN会进行相应的同步修改。

3.5.HDFS1.0架构的局限性

                              表3-1 HDFS 1.0和HDFS 2.0架构对比

• 隔离的问题
         由于HDFS仅有一个NameNode，无法隔离各个程序，因此HDFS上的一个实验程
序就很有可能影响整个HDFS上运行的程序。
• 性能的瓶颈
        由于是单个NameNode的HDFS架构，因此整个HDFS文件系统的吞吐量受限于单
个NameNode的吞吐量。

3.6. SecondaryNamenode

Hadoop1.x中的NameNode容错机制：
NameNode节点断电，可以合并FsImage和editlog，合成元数据。
存在问题：
  1. 长时间添加数据到editlog中，会导致该文件数据过大，效率降低。
  2. 恢复元数据时间过长。
  3. NameNode节点完成，效率过低。

        因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和editlog的合并。

  •  SecondaryNamenode不是NN的备份节点而是助手节点。通常，SecondaryNamenode 运行在一个单独的物理机上，因为合并操作需要占用大量的CPU时间以及和Namenode相当的内存。
  • 触发SecondaryNameNode的CheckPoint的两个机制：定时时间到、edit log中数据写满；

                                                图3-3 SecondaryNamenode工作流程

NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

4.HDFS2.0

包括高可用HA和HDFS Federation联邦。

4.1.HA架构

        HDFS2.0采用了HA（High Availability，高可用）架构。在HA集群中，一般设置两个NN，其中一处于“活跃（Active）”状态，另一个处于“待命（Standby）”状态。
                                                                图4-1 HDFS高可用架构
Zookeeper负责保持系统的一致性，当活跃的NN故障，由Zookeeper进行工作的交接。

4.2.联邦架构

        设计多个相互独立的NN，使得HDFS的命名服务能够水平扩展，这些NN分别进行各自命名空间和块的管理，不需要彼此协调。
        每个DN要向集群中所有的NN注册，并周期性的发送心跳信息和块信息，报告自己的状态。

                                                                图4-2 HDFS联邦架构 

• Block pool(块池)就是属于单个命名空间的一组block(块)
• 每个DN会为多个块池提供块的存储块池中的各个块实际上是存储在不同DN中
• DN是一个物理概念，而block pool是一个重新将block划分的逻辑概念

5.HDFS读写入数据流程 

5.1.写入数据流程

                                                        图5-1 HDFS写入数据流程 

5.2.读取数据流程

而读取文件的时候，NN尽量让client读取离它最近的DataNode上的副本，降低带宽消耗和读取时延。

                                                         图5-2 HDFS读取数据流程

5.3.HDFS的存储机制

5.3.1.HDFS数据副本放置策略

                        图5-3 当副本系数是3时的HDFS数据副本放置情况

        数据块的第一个副本先放置在本地机架上的一个节点上，然后第二个副本放置在同一个机架的另一节点上，之后第三个副本放在另外的机架上的节点上。

5.3.2.HDFS的异构存储

        Hadoop 从 2.4 后开始支持异构存储：

  • 经常被计算或者读取的热数据为了保证性能需要存储在内存。
  • 当一些数据变为冷数据后不经常会用到的数据会变为归档数据，可以使用大容量性能要差一些的存储设备来存储来减少存储成本。
        ①RAM_DISK内存 ：内存镜像文件系统(实时)
        ②SSD固态硬盘：SSD 盘(常读)
        ③DSIK磁盘： 普通磁盘(平常)
        ④ARCHIVE高密度存储介质 ：归档(价值不大，但不能丢弃的数据。)
六个预配置的存储策略：
  • Lazy_persist：一个副本保存在内存RAM_DISK中，其余副本保存在磁盘DISK中；将副本写入RAM_DISK，然后缓慢的持久化到DISK。
  • ALL_SSD：所有副本都保存在SSD中。
  • Hot： 存储和计算都热； 所有副本保存在磁盘中，这也是默认的存储策略。
  • One_SSD：一个副本保存在SSD中，其余副本保存在磁盘DISK中。
  • Warm： 半冷半热； 一个副本保存在DISK磁盘上，其余副本保存在ARCHIVE归档存储上。
Cold： 用于有限计算的存储； 所有副本都保存在归档存储上。

                                                  图5-4 HDFS的LAZY_PERSIST内存存储

这样做的好处是，满足我们大部分情况是新数据更容易被读取使用。

注意：HDFS一次写入，多次读取；文件一旦写入 不能修改 ， 只能追加 。

6.HDFS常用命令

        配置好Hadoop集群之后，可以通过浏览器登录“http://[NameNodeIP]:50070”访问HDFS文件系统。

        hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。
        hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。
        hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统。
hadoop fs -ls <path>:显示<path>指定的文件的详细信息
hadoop fs -mkdir <path>:创建<path>指定的文件夹
hadoop fs -cat <path>:将<path>指定的文件的内容输出到标准输出（stdout）
hadoop fs -copyFromLocal <localsrc> <dst>:将本地源文件<localsrc>复制到路径<dst>指定的文件或文件夹中

7.补充：对象存储服务OBS

• 桶是OBS中存储对象的容器， 每个桶都有自己的存储类别、访问权限、所属区域等属性，用户在互联网上通过桶的访问域名来定位桶。
• 对象是OBS中数据存储的基本单位 ，一个对象实际是一个文件的数据与其相关属性信息的集合体，包括Key、Metadata、Data三部分。
OBS提供了数据湖的概念，即将各种类型的数据都存储在某一个桶中，存储的时候不关心将来需要怎么计算，而我们算的时候再根据各个接口提取出数据进行计算。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/408038
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号