大数据处理框架的类型、比较和选择
发布时间:2018-04-11 18:11:00 所属栏目:大数据 来源:站长网
导读:媒介 提及大数据处理赏罚,统统都发源于Google公司的经典论文:《MapReduce:Simplied Data Processing on Large Clusters》。在其时(2000年阁下),因为网页数目急剧增进,Google公司内部平常要编写许多的措施来处理赏罚大量的原始数据:爬虫爬到的网页、网页哀求日
另一个作为殽杂处理赏罚框架的Apache Flink则潜力无穷,被称作“下一代数据处理赏罚框架”。固然今朝存在社区活泼度不足高、商用案例较少等环境,不外“是金子总会发光”,假如Flink能在贸易应用上有突出示意,则也许挑衅Spark的职位。 2. 对付企业应用 假如企业中只必要批处理赏罚事变,而且对时刻并不敏感,那么可以行使本钱较其他办理方案更低的Hadoop集群。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |