MapReuce中对大数据处理最合适的数据格式是什么？
发布时间：2018-09-21 00:04:19 所属栏目：教程 来源：赵钰莹
导读：【新品产上线啦】51CTO播客，随时随地，碎片化学习 在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两
|
Parquet是一种具有丰富Hadoop系统支持的柱状文件格式，可以与Avro、Protocol Buffers和Thrift等友好工作。尽管 Parquet 是一个面向列的文件格式，不要期望每列一个数据文件。Parquet 在同一个数据文件中保存一行中的所有数据，以确保在同一个节点上处理时一行的所有列都可用。Parquet 所做的是设置 HDFS 块大小和最大数据文件大小为 1GB，以确保 I/O 和网络传输请求适用于大批量数据。 基于上述评估标准，Avro似乎最适合作为Hadoop中的数据序列化框架。SequenceFile紧随其后，因为它与Hadoop具有内在兼容性(它设计用于Hadoop)。 你可以在Github上查看jvm-serializers项目，该项目运行各种基准测试，以根据序列化和反序列化时间等比较文件格式。它包含Avro，Protocol Buffers和Thrift基准测试以及许多其他框架。 在了解了各种数据序列化框架后，我们将在接下来几节中专门讨论这些格式。 【编辑推荐】
点赞 0 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
