HDFS写数据流程

HDFS写数据流程

（1）客户端向NameNode发出写文件请求

（2）NameNode检查是否已存在文件、检查权限，Namenode应答可以上传。

（3）客户端请求上传第一个Block。客户端上传之前对文件进行切片，切片规则：按datanode的block块大小进行切片，hadoop2.x默认block大小为128m（例如：300m文件切分为3片：第一片128m,第二片128m，剩下44m单独为1片。）

（4）NameNode返回上传的DataNode信息，具体NameNode如何选择DataNode，选择哪些DataNode是hadoop机架感知特性和副本个数决定（默认个数为3）决定

（5）客户端拿到DataNode信息后，与DataNode1直接建立通信通道，DataNode1和DataNode2，DataNode2与DataNode3同时会建立通信通道，进行数据的副本传输。

（6）DataNode2和DataNode3完成数据通信后，依次按通信顺序，最终应答给DataNode1,DataNode1再应答client，完成数据的通信。

（7）开始上传数据。以packet为单位上传,packet默认大小为64k。

（注）上传到DataNode1中的数据先存到byteBuffe