阿里巴巴Blink正式开源，重要优化点解读
|
在资源使用方面，新增了 Cluster、TaskManager 与 Job 三个级别的资源信息，使得资源的申请与使用情况一目了然。作业的拓扑关系及数据流向可以追溯至 Operator 级别，Vertex 增加了 InQueue，OutQueue 等多项指标，可以方便的追踪数据的反压、过滤及倾斜情况。TaskManager 和 JobManager 的日志功能得到大幅度加强，从 Job、Vertex、SubTask 等多个维度都可以关联至对应日志，提供多日志文件访问入口，以及分页展示查询和日志高亮功能。 另外，我们使用了较新的 Angular 7.0 对 Flink web 进行了全面重构，页面运行性能有了一倍以上的提升。 在大数据量情况下也不会发生页面卡死或者卡顿情况。同时对页面的交互逻辑进行了整体优化，绝大部分关联信息在单个页面就可以完成查询和比对工作，减少了大量不必要的跳转。
未来的规划Blink 迈出了全面开源的第一步，接下来我们会和社区合作，尽可能以最快的方式将 Blink 的功能和性能上的优化 merge 回 Flink。 本次的开源版本一方面贡献了 Blink 多年在流计算的积累，另一方面又重磅推出了在批处理上的成果。接下来，我们会持续给 Flink 社区贡献其他方面的功能。我们期望每过几个月就能看到技术上有一个比较大的亮点贡献到社区。下一个亮点应该是对机器学习的支持。 要把机器学习支持好，有一系列的工作要做，包括引擎的功能、性能和易用性。这里面大部分的工作我们已经开发完成，并且很多功能都已经在阿里巴巴内部服务上线了。除了技术上创新以及新功能之外，Flink 的易用性和外围生态也非常重要。我们已经启动了若干这方面的项目，包括 Python 以及 Go 等多语言支持、Flink 集群管理、Notebook 以及机器学习平台等等。这些项目有些会成为 Flink 自身的一部分贡献回社区，有些不是。但它们都基于 Flink，是 Flink 生态的一个很好的补充。独立于 Flink 之外的那些项目，我们都也在认真的考虑开源出来。 总之，Blink 在开源的第一天起，就已经完全 all-in 的融入了 Flink 社区，我们希望所有的开发者看到我们的诚意和决心。未来，无论是功能还是生态，我们都会在 Flink 社区加大投入，我们也将投入力量做 Flink 社区的运营，让 Flink 真正在中国、乃至全世界大规模地使用起来。我们衷心的希望更多的人加入，一起把 Apache Flink 开源社区做的更好！ 【编辑推荐】
点赞 0 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
