官宣！阿里Blink和Flink合并计划出炉
|
改进的调度和故障恢复：最后，Blink 实现了对任务调度和容错的若干改进。调度策略通过利用操作符处理输入数据的方式来更好地使用资源。故障转移策略沿着持久 shuffle 的边界进行更细粒度的恢复。不需重新启动正在运行的应用程序就可以替换发生故障的 JobManager。 Blink 的变化带来了大幅度的性能提升。以下数据由 Blink 开发者提供，给出了性能提升的粗略情况。
在 TPC-H 基准测试中，Blink 与 Flink 1.6.0 的相对性能。Blink 性能平均提升 10 倍
在 TPC-DS 基准测试中，Blink 与 Spark 的性能，将所有查询的总时间汇总在一起。 Blink 和 Flink 的合并计划 Blink 的代码目前已经作为 Flink 代码库的一个分支(https://github.com/apache/flink/tree/blink )对外开放。合并这么多变更是一项艰巨的挑战，同时还要尽可能保持合并过程不要造成任何中断，并使公共 API 尽可能保持稳定。 社区的合并计划最初将重点放在上述的有界 / 批处理功能上，并遵循以下方法以确保能够顺利集成： 为了合并 Blink 的 SQL/Table API 查询处理器增强功能，我们利用了 Flink 和 Blink 都具有相同 API 的事实：SQL 和 Table API。在对 Table/SQL 模块( https://cwiki.apache.org/confluence/display/FLINK/FLIP-32%3A+Restructure+flink-table+for+future+contributions )进行一些重组之后，，我们计划将 Blink 查询规划器(优化器)和运行时(操作符)合并为当前 SQL 运行时的附加查询处理器。可以将其视为同一 API 的两个不同的运行器。最开始，可以让用户选择要使用哪个查询处理器。经过一个过渡期之后，将开发新的查询处理器，而当前的处理器很可能会被弃用，并最终被丢弃。因为 SQL 是一个定义良好的接口，我们预计这种转换对用户来说几乎没有影响。 为了合并 Blink 的调度增强功能和有界数据的作业恢复功能，Flink 社区已经在努力重构当前的调度功能，并添加对可插拔调度和故障转移策略的支持。在完成这项工作后，我们就可以将 Blink 的调度和恢复策略作为新查询处理器的调度策略。最后，我们计划将新的调度策略应用于有界 DataStream 程序。 扩展的目录支持、DDL 支持以及对 Hive 目录和集成的支持目前正在进行单独的设计讨论。 总 结 我们相信未来的数据处理技术栈会以流式处理为基础：流式处理的优雅，能够以相同的方式对离线处理(批处理)、实时数据处理和事件驱动的应用程序进行建模，同时还能提供高性能和一致性，这些实在是太吸引人了。成都加米谷大数据培训，大数据开发，数据分析与挖掘，小班教学，免费试听。 要让流式处理器实现与专用批处理器相同的性能，利用有界数据的某些属性是关键。Flink 支持批处理，但它的下一步是要构建统一的运行时，并成为一个可以与批处理系统相竞争的流式处理器。阿里巴巴贡献的 Blink 有助于 Flink 社区加快实现这一目标。 英文原文：https://flink.apache.org/news/2019/02/13/unified-batch-streaming-blink.html 【编辑推荐】
点赞 0 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
