加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

深入浅出Hadoop YARN

发布时间:2019-01-18 04:00:57 所属栏目:教程 来源:终日而思一
导读:一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中,MapReduce 的 JobTracker 负责了太多的工作,包括资源调度,管理众多的 TaskTracker 等工作。这自然是不合理的,于是 Hadoop 在 1.0 到 2.0 的升级过程中,便将 JobTracker 的资源调度工作独立了出来,而这

要解决这些问题,只能将 jobTracker 进行拆分,将其中部分功能拆解出来。彼时业内已经有了一部分的资源管理框架,比如 mesos,于是照着这个思路,就开发出了 Yarn。这里多说个冷知识,其实 Spark 早期是为了推广 mesos 而产生的,这也是它名字的由来,不过后来反正是 Spark 火起来了。。。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读