当前位置:   article > 正文

Hadoop:HDFS读写流程详解_hadoop数据访问写入流程

hadoop数据访问写入流程

目录

1 HDFS写数据流程

2 HDFS读数据流程


HDFS写数据流程

1)客户端通过分布式文件系统模块向namenode请求上传某个数据

(2)namenode根据客户端请求,先查看该用户是否有权限上传数据,再查看客户端所请求的目录是否存在。在namenode检查完全部后,给客户端一个可以上传的响应。

(3)客户端听到可以上传的响应后,便开始上传第一个block,询问namenode数据存放在哪些datanode里面?

(4)namenode告诉客户端可以存放在dn1,dn2,dn3这三个节点。而namenode是如何在众多节点中选择存放节点的呢?namenode会考虑稳定性、效率性。

(5)客户端通过数据输出流模块请求 dn1 上传数据,dn1 收到请求会继续调用 dn2,然后 dn2 调用 dn3,将这个通信管道建立完成。

(6)dn1、dn2、dn3 逐级应答客户端

(7)客户端以packet为单位,开始传输数据。dn1收到数据放入到本地磁盘,并从磁盘中读取数据放入内存,之后再通过内存中的数据传输给dn2 ,dn3

 (8) 第一个blocks上传完成后,重复(3)-(7)

HDFS读数据流程

(1)客户端通过分布式文件系统向Namenode请求下载文件

(2)namenode返回文件所在的元数据(即所在位置)

(3)挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。

(4)DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet 为单位)。(如果检测到datanote1的数据访问量很多,则客户端则会选择在其他datanode中下载第二个block)

(5)客户端以 Packet 为单位接收,先在本地缓存,然后写入目标文件。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/456156
推荐阅读
相关标签
  

闽ICP备14008679号