比拼生态和未来，Spark和Flink哪家强？
|
数据分析的工作性质比较偏探索性，更强调交互性和分享。Notebook 能比较好地满足这些需求，是比较理想的开发工具，用来做演示效果也相当不错。比较流行的 Notebook 有 Apache Zeppelin，Jupyter 等。Databricks 更是自己开发了 Databricks Notebook 并将之作为服务的主要入口。Zeppelin 支持 Spark 和 Flink，Jupyter 还只支持 Spark。 数据工程师的工作更倾向于把比较确定的数据处理生产化，能快速把代码写出来是一方面。另外还有项目管理，版本管理，测试，配置，调试，部署，监控等等工作，需求和传统的集成开发工具比较相似。 还经常出现需要复用已有的业务逻辑代码库的情况。Notebook 对其中一些需求并不能很好地满足。比较理想的开发工具可能是类似 IntelliJ 加上 Spark/Flink 插件，再加上一些插件能直接提交任务到集群并进行调试，并对接 Apache Oozie 之类的工作流管理等等。在开源社区还没有见到能把这些集成到一起的。在商业产品中倒是见过一些比较接近的。Spark 和 Flink 在这方面差不多。 运行环境 部署模式 / 集群管理 / 开源闭源 应用开发完后要提交到运行环境。Spark 和 Flink 都支持各种主流的部署环境，在这方面都算做得比较好的。
企业级平台 既然 Spark 和 Flink 都支持各种部署方式，那一个企业是否可以使用开源代码快速搭建一个支持 Spark 或者 Flink 的平台呢? 这个要看想要达到什么效果了。最简单的模式可能是给每个任务起一个独占集群，或着给小团队一个独立集群。这个确实可以很快做到，但是用户多了以后，统一运维的成本可能太高，需要用户参与运维。还有一个缺点是资源分配固定，而负载会有变化，导致资源利用率上不去。比较理想的是多租户的共享大集群，可以提高运维效率的同时最大限度地提高资源利用率。而这就需要一系列的工作，比如不同的作业提交方式，数据安全与隔离等等。对一些企业来说，可能利用托管服务(包括云服务)是一种值得考虑的开始方式。 社 区 Spark 社区在规模和活跃程度上都是领先的，毕竟多了几年发展时间。而且作为一个德国公司，Data Artisans 想在美国扩大影响力要更难一些。不过 Flink 社区也有一批稳定的支持者，达到了可持续发展的规模。 在中国情况可能会不一样一些。比起美国公司，中国公司做事情速度更快，更愿意尝试新技术。中国的一些创新场景也对实时性有更高的需求。这些都对 Flink 更友好一些。 近期 Flink 的中国社区有一系列动作，是了解 Flink 的好机会。
另外，今年年底 Flink 中文社区也会在北京举办 Flink Forward China 大会，感兴趣的朋友可以关注。 未来发展趋势 近两年一个明显的趋势就是机器学习在数据处理中的比重增长。Spark 和 Flink 都能支持在一个系统中做机器学习和其它数据处理。谁能做得更好就能掌握先机。 另一个可能没有那么明显的趋势是，随着 IOT 的增长以及计算资源和网络的持续发展，实时处理需求会越来越多。现在其实真正对低延迟有很高追求的业务并没有那么多，所以每一次流计算新技术的出现都能看到那几家公司的身影。随着新应用场景的出现和竞争环境的发展，实时处理可能会变得越来越重要。Flink 现在在这方面是领先的，如果发挥得好可以成为核心优势。 还有一点值得一提的是，因为用户不想锁定供应商，担心持续的支持等原因，是否开源已经成为用户选择数据产品的一个重要考量。闭源产品如果没有决定性优势会越来越难和基于开源技术的产品竞争。 总 结 Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。Spark 的生态总体更完善一些，在机器学习的集成和易用性上暂时领先。Flink 在流计算上有明显优势，核心架构和模型也更透彻和灵活一些。在易用性方面两者也都还有一些地方有较大的改进空间。接下来谁能尽快补上短板发挥强项就有更多的机会。 【编辑推荐】
点赞 0 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
