加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 电商 > 正文

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

发布时间:2021-01-17 14:37:49 所属栏目:电商 来源:网络整理
导读:《这是一篇最通熟易懂的Hadoop HDFS实践攻略

具体写入流程:

  1. client向namenode发请求,说想要上传文件
  2. namenode会检查目标文件是否存在、父目录是否存在,检查没有问题后返回确认信息
  3. client再发请求,问第一个block应该传到哪些datanode上
  4. namenode经过衡量,返回3个可用的datanode(A,B,C)
  5. client与A建立连接,A与B建立连接,B与C建立连接,形成一个pipeline
  6. 传输管道建立完成后,client开始向A发送数据包,此数据包会经过管道一次传递到B和C
  7. 当第一个block的数据都传完以后,client再向namenode请求第二个block上传到哪些datanode,然后建立传输管道发送数据
  8. 就这样,直到client把文件全部上传完成

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读