MapReuce中对大数据处理赏罚最吻合的数据名目是什么？

Parquet是一种具有富厚Hadoop体系支持的柱状文件名目，可以与Avro、Protocol Buffers和Thrift等友功德情。尽量 Parquet 是一个面向列的文件名目，不要祈望每列一个数据文件。Parquet 在统一个数据文件中生涯一行中的全部数据，以确保在统一个节点上处理赏罚时一行的全部列都可用。Parquet 所做的是配置 HDFS 块巨细和最大数据文件巨细为 1GB，以确保 I/O 和收集传输哀求合用于大批量数据。

基于上述评估尺度，Avro好像最适相助为Hadoop中的数据序列化框架。SequenceFile紧随厥后，由于它与Hadoop具有内涵兼容性(它计划用于Hadoop)。

你可以在Github上查察jvm-serializers项目，该项目运行各类基准测试，以按照序列化和反序列化时刻等较量文件名目。它包括Avro，Protocol Buffers和Thrift基准测试以及很多其他框架。

在相识了各类数据序列化框架后，我们将在接下来几节中专门接头这些名目。

【编辑保举】

1. Apache Beam的宿世此生：谷歌已经不再行使MapReduce了
2. 聊聊MapReduce处理赏罚进程中的数据范例与数据名目
3. Hive、MapReduce、Spark漫衍式天生独一数值型ID
4. Spark：逾越Hadoop MapReduce
5. 巧用MapReduce+HDFS，海量数据去重的五大计策

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!