加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

谷歌公司十年前的三项工作,奠定了当今大数据生态的技术基础

发布时间:2020-11-30 11:26:46 所属栏目:建站 来源:网络整理
导读:很多对大数据技能感乐趣的人都传闻过 Google 在十年前颁发的三项重要成就:Google File System(GFS),MapReduce 和 Bigtable[见表1]。Google 在这些成就中,先容了其操作通用计较装备乐成搭建漫衍式集群的要领。个中的诸多计划头脑在其后被普及小心。 表1

用通用处事器(commodity server)集群搭建的体系对比大型机具有更强的可扩展性和容错手段,同时具有必然的装备价值上风。Google 在这方面做了相干事变,并用本身的乐成有力地证明白该方案的可行性。在本日,互联网处事提供商大多也回收了通过搭建通用计较机集群支撑自身处事的飞速成长,除了财大气粗追求不变的****业之外,险些没有人乐意再去选择购置昂贵的大型机了。

思索与质疑

CAP 是漫衍式体系逃不外的题目,相应时刻和同等性是存在抵牾的。commodity server 集群搭建的体系存在的突出题目是同等性题目,同时,集群中差异节点之间的通讯也也许成为瓶颈,并且对比大型机来说,总的能耗更高。

参考文献

[1] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung. 2003. The Google file system. In Proceedings of the nineteenth ACM symposium on Operating systems principles (SOSP '03). ACM, New York, NY, USA, 29-43. DOI: https://doi.org/10.1145/945445.945450

[2] Jeffrey Dean and Sanjay Ghemawat. 2004. MapReduce: simplified data processing on large clusters. In Proceedings of the 6th conference on Symposium on Operating Systems Design & Implementation - Volume 6 (OSDI'04), Vol. 6. USENIX Association, Berkeley, CA, USA, 10-10.

[3] Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber. 2006. Bigtable: a distributed storage system for structured data. In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation - Volume 7 (OSDI '06), Vol. 7. USENIX Association, Berkeley, CA, USA, 15-15.

[4] Hadoop 势力巨子指南

延长阅读:

  • 【IDCC2020】高层对话 尊享晚宴——中国IDC企业俱乐部会员年会邀你来!
  • 《中国IDC行业资讯大全(2021年版)》发行在即 信息收录进入倒计时
  • 【“大NEW说”大咖面扑面】来米科技姜友辉:IDC财富厘革,数据中心运营程度亟待晋升

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读