当前位置:   article > 正文

hdfs读写数据流程_hdfs 使用 bytebuffer 读取数据

hdfs 使用 bytebuffer 读取数据

hdfs写数据流程


    client与namenode
        1、client请求namenode上传文件a.txt
            namenode保存元数据
        2、响应回client,可以上传
        3、client请求上传第一个bk(0~128M),请求namenode返回datanode的相关信息
        4、namenode返回dn1,dn3节点,表示是采用这两个节点存储具体的数据
    client与datanode
        5、client请求datanode建立一个block的传输通道
        6、dn1应答成功
        7、传输数据
    datanode与datanode
        5、请求datanode建立一个block的传输通道
        6、dn2,dn3应答成功
        7、传输数据
            datanode中的传输由bytebuffer,数据传输完毕后会写到磁盘上


hdfs读数据流程


    client与namenode
        1、请求下载文件
        2、返回目标文件的元数据(路径,块数)
    client与datanode
        3、请求读数据blk1
        4、传输数据
        5、继续请求读数据blk2
        6、传输数据

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/741567
推荐阅读
相关标签
  

闽ICP备14008679号