大数据处理赏罚框架的范例、较量和选择
发布时间:2018-04-08 03:44:35 所属栏目:大数据 来源:站长网
导读:媒介 提及大数据处理赏罚,统统都发源于Google公司的经典论文:《MapReduce:Simplied Data Processing on Large Clusters》。在其时(2000年阁下),因为网页数目急剧增进,Google公司内部平常要编写许多的措施来处理赏罚大量的原始数据:爬虫爬到的网页、网页哀求日
假如企业仅举办流处理赏罚,而且对低耽误有着较高要求,Storm越发得当,假如对耽误不很是敏感,可以行使Spark Streaming。而假如企业内部已经存在Kafka和Hadoop集群,而且必要多团队相助开拓(下流团队会行使上游团队处理赏罚过的数据作为数据源),那么Samza是一个很好的选择。 假如必要同时分身批处理赏罚与流处理赏罚使命,那么Spark是一个很好的选择。殽杂处理赏罚框架的另一个甜头是,低落了开拓职员的进修本钱,从而为企业节省人力本钱。Flink提供了真正的流处理赏罚手段而且同样具备批处理赏罚手段,但商用案例较少,对付首次实行数据处理赏罚的企业来说,大局限行使Flink存在必然风险。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |