HDFS写入数据流程

1. 客户端会带着文件路径向NameNode发送写入请求通过 RPC 与 NameNode 建立通讯， NameNode 检查目标文件，返回是否可以上传;
2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上;
3. NameNode 根据副本数量和副本放置策略进行节点分配，返回DataNode节点，如：A，B，C
4. Client 请求A节点建立pipeline管道，A收到请求会继续调用B，然后B调用C，将整个pipeline管道建立完成后,逐级返回消息到Client;
5. Client收到A返回的消息之后开始往A上传第一个block块，block块被切分成64K的packet包不断的在pepiline管道里传递，从A到B，B到C进行复制存储
6. 当一个 block块 传输完成之后，Client 再次请求 NameNode 上传第二个block块的存储节点，不断往复存储
7. 当所有block块传输完成之后，Client调用FSDataOutputSteam的close方法关闭输出流，最后调用FileSystem的complete方法告知NameNode数据写入成功

（编辑：阜新站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!