6个人如何维护上千规模的大数据集群呢？

　　逻辑架构如下图：

　　Grace 逻辑架构

　　Grace 是通过 Spark Streaming 实现的，通过消费 Kafka 中存储的已完成 MR 任务的 jhist 文件或 Spark 任务的 eventlog 路径，从 HDFS 对应位置获取任务运行历史数据，解析后得到 MR/Spark 任务的明细数据。

　　再根据这些数据进行一定的聚合分析，得到任务级别，Job 级别，Stage 级别的汇总信息。

　　最后通过定制化的 Dr-Elephant 系统对任务明细数据通过启发式算法进行分析，从而给用户一些直观化的优化提示。

　　对于 Dr-Elephant，我们也做了定制化的变动，比如将其作为 Grace 体系的一个组件打包依赖。

　　从单机部署服务的模式变成了分布式实时解析模式。将其数据源切换为 Grace 解析到的任务明细数据。

　　增加每个任务的 ActionId 跟踪链路信息，优化 Spark 任务解析逻辑，增加新的启发式算法和新的监控指标等。

　　总结

　　随着大数据生态体系越来越完善，越来越多背景不同的用户都将加入该生态圈，我们如何降低用户的进入门槛，方便用户快速便捷地使用大数据资源，也是需要考虑的问题。

　　大数据集群中运行的绝大部分任务都是业务相关，但是随着集群规模越来越大，任务规模越来越大，集群本身产生的数据也是不容忽视的。

　　这部分数据才是真正反映集群使用详细情况的，我们需要考虑如何收集使用这部分数据，从数据角度来衡量、观察我们的集群和任务。

　　仅仅关注于集群整体部署、性能、稳定等方面是不够的，如何提高用户体验，充分挖掘集群本身数据，用数据促进大数据集群的建设，是本次分享的主题。

　　作者：陈凯明

　　简介：具有多年从事大数据基础架构工作经验。目前担任饿了么数据平台研发团队资深数据工程师，主要负责饿了么离线平台及底层工具开发。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!