大数据说明，Hadoop够用吗？Facebook数据专家说No
|
“Hadoop是一个框架，不是一个办理方案”——他以为在办理大数据说明的题目上人们误以为Hadoop可以当即有用事变，而现实上“对付简朴的查询，它是可以的。但对付难一些的说明题目，Hadoop会敏捷败下阵来，由于必要你直接开拓Map/Reduce代码。出于这个缘故起因，Hadoop更像是J2EE编程情形而不是贸易说明办理方案。” 所谓框架意味着你必然要在之上做本性化和营业相干的开拓和实现，而这些都必要本钱。 Hadoop的子项目Hive和Pig 都不错，但不能超越其架构的限定。”——Joe提出“Hive 和Pig 都是辅佐非专业工程师快速有用行使Hadoop的完美器材，用于把说明查询转换为常用的SQL或Java Map/Reduce 使命，这些使命可以陈设在Hadoop情形中。”个中Hive是基于Hadoop的一个数据客栈器材，它可以辅佐实现数据汇总、即时查询以及说明存储在Hadoop兼容的文件体系的大型数据集等。而Pig是并行计较的高级数据流说话和执行框架。但作者以为“Hadoop的Map/Reduce框架的一些限定，会导致服从低下，尤其是在节点间通讯的环境（这种场所必要排序和毗连）。” Joe总结道：“Hadoop是一个用来做一些很是伟大的数据说明的精巧器材。可是具有嘲讽意味的是，它也是必要大量的编程事变才气获得这些题目的谜底。” 这一点不止在数据说明应用方面，它着实反应了今朝行使开源框架时辰不得不面临的选型均衡题目。 当你在选型开源框架或代码的时辰，既要思量清晰它可以或许帮到你几多，节减几多时刻和本钱，进步几多服从。也要知道由此而发生几多新增的本钱，好比工程师的进修本钱、开拓和维护本钱，以及将来的扩展性，包罗假如行使的框架进级了，你和你的团队是否要做响应的进级；乃至还要有安详性方面的思量，事实开源框架的裂痕也是众所周知的。 1.?漫衍式动静体系Apache Kafka那些事儿 2. 深入领略git，从研究.git目次开始 3. 艰巨的重构：10大常见的重构误区? 4. 机能晋升70%，Netflix的网站提速最佳实践 ? 5. Git常用呼吁总结 6. 15个你必需知道的Facebook开源项目 7.?深入研究Android推送技能 8.?iOS开拓神器Injection for Xcode：成吨的进步开拓服从 微信公家号"技能风向标"，存眷IT趋势，承载前沿、深入、有温度的内容。长按下方二维码加存眷。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
