加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

HDFS你一定要知道,要考的

发布时间:2018-08-26 09:18:58 所属栏目:教程 来源:千锋大数据开发学院
导读:你肯定听过Hadoop,对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知,它主要包含两部分内容: HDFS分布式文件存储 MapReduce分a布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大

读流程

HDFS你一定要知道,要考的
  1. HDFS Client与NameNode建立链接,告诉NameNode要读取文件xxx。
  2. NameNode通过查询自己的元数据信息,得到文件xxx的数据块映射信息及存储数据块的DataNode列表。然后将这些信息发送给Client。
  3. Client得到这些信息之后,寻找最近可用的DataNode1.取回数据块1.从DataNode2取回数据块2. 自此成功读取文件xxx
  4. 如果DataNode2出现问题挂掉了,则从DataNode3进行数据块读取。

文件读取时,NameNode会选择最近的DataNode提供给客户端。

划重点划重点,要考的!!!

【编辑推荐】

  1. 干货:如何将Hadoop存储容量提升4倍?
  2. Hadoop生态组件Yarn之长期运行服务支持篇!
  3. Oracle与Hadoop对比:一致性和高性能不可兼得!
  4. 耗时两个月,国内传统企业对Hadoop到底什么态度?
  5. 扫盲:Hadoop分布式文件系统(HDFS)基础概念讲解!
【责任编辑:未丽燕 TEL:(010)68476606】
点赞 0

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读