加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据处理赏罚框架的范例、较量和选择

发布时间:2018-04-08 03:44:35 所属栏目:大数据 来源:站长网
导读:媒介 提及大数据处理赏罚,统统都发源于Google公司的经典论文:《MapReduce:Simplied Data Processing on Large Clusters》。在其时(2000年阁下),因为网页数目急剧增进,Google公司内部平常要编写许多的措施来处理赏罚大量的原始数据:爬虫爬到的网页、网页哀求日

假如企业仅举办流处理赏罚,而且对低耽误有着较高要求,Storm越发得当,假如对耽误不很是敏感,可以行使Spark Streaming。而假如企业内部已经存在Kafka和Hadoop集群,而且必要多团队相助开拓(下流团队会行使上游团队处理赏罚过的数据作为数据源),那么Samza是一个很好的选择。

假如必要同时分身批处理赏罚与流处理赏罚使命,那么Spark是一个很好的选择。殽杂处理赏罚框架的另一个甜头是,低落了开拓职员的进修本钱,从而为企业节省人力本钱。Flink提供了真正的流处理赏罚手段而且同样具备批处理赏罚手段,但商用案例较少,对付首次实行数据处理赏罚的企业来说,大局限行使Flink存在必然风险。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读