设为首页 - 加入收藏 华夏网 (http://www.hxwgxz.com)- 云主机,资讯,互联网,人工智能,云计算,大数据,区块链,VR,站长网!
热搜: 系统 泄漏 什么 平台
当前位置: 主页 > 大数据 > 正文

下一代大数据处理平台Apache Beam成为Apache顶级项目

发布时间:2020-12-31 02:45 所属栏目:[大数据] 来源:网络整理
导读:Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业,成为Apache的顶级项目 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域

Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业,成为Apache的顶级项目


Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。


Beam仅仅是一个SDK,是一个应用顶层的API,那么它下层支持的数据处理框架(官方叫做Apache Beam Pipeline Runners)主要包括Apache Apex,Apache Flink,Apache Spark以及它自己的Google Cloud Dataflow。


Apache Beam 的两大特点


1、将数据的批处理(batch)和流处理(stream)编程范式进行了统一;

2、能够在任何的执行引擎上运行。


它不仅为模型设计、更为执行一系列数据导向的工作流提供了统一的模型。这些工作流包括数据处理、吸收和整合。


为什么会诞生Apache Beam


大数据处理领域的一大问题是:开发者经常要用到很多不同的技术、框架、API、开发语言和 SDK。根据任务场景的不一样,开发者很可能会用 MapReduce 进行批处理,用 Apache Spark SQL 进行交互请求,用 Apache Flink 实时流处理。新的分布式处理框架可能带来的更高的性能,更强大的功能,更低的延迟等,但用户切换到新的分布式处理框架的代价也非常大:需要学习一个新的数据处理框架,并重写所有的业务逻辑。


解决这个问题的思路包括两个部分,首先,需要一个编程范式,能够统一,规范分布式数据处理的需求,例如,统一批处理和流处理的需求。其次,生成的分布式数据处理任务应该能够在各个分布式执行引擎上执行,用户可以自由切换分布式数据处理任务的执行引擎与执行环境。Apache Beam正是为了解决以上问题而提出的。


因为笔者并没有实际使用Apache Beam的经验,所以深入的知识请参见Apache Beam的官方文档。


猜你喜欢

欢迎关注本公众号:iteblog_hadoop:

1、回复?掌握spark?获取?《Mastering Apache Spark》电子书

2、回复?高性能spark?获取?《High Performance Spark》电子书

3、回复?大数据分析?获取?《Big Data Analytics》电子书

4、回复?spark2电子书?获取?《Apache Spark 2 for Beginners》电子书

5、回复?spark2_data?获取??《Spark for Data Science》电子书

6、回复?架构师大会ppt?获取?《2016年中国架构师[大数据场]》?PPT

7、回复?intro_flink?获取?《Introduction to Apache Flink》?电子书

8、回复?spark_summit_ppt??获取?《Spark Summit 2016 Europe全部PPT》

9、回复?flink未来?获取?《The Future of Apache Flink》

10、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章