加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

将来的Kubernetes将效仿Facebook的做法

发布时间:2019-07-02 00:30:28 所属栏目:移动互联 来源:Mr.lzc译
导读:【编者的话】现在,Kubernetes最大打点约莫5000个节点,这不单与Borg或Tupperware的可扩展性相去甚远,并且做不到无感知地调治差异地区的节点。本文通过先容Tupperware与Delos背后的一些头脑以及完成的一些事变,最终Facebook可以或许随时随地行使其环球资源,

风趣的是,Facebook一向站在单套接字处事器的前沿,尤其是Yosemite微处事器,它们被普及陈设在Facebook上运行基本办法软件。这里是这样的结果,每个Facebook数据中心此刻都有更多的物理处事器,假如没有更多的尺度双套接字呆板,也许会有更多的物理处事器,这会给Tupperware带来更多的负载,而摩尔定律(Moore’s Law)正在增进每个节点可以或许支持的焦点,因此也就增进了容器的数目。因此,必要支解Tupperware的事变,但但愿与Tupperware的界面保持透明。

但这里尚有其它一个义务,最终,Facebook但愿可以或许通过一个面板打点其整个机群,这将必要更多的Tupperware事变分片,以及与Facebook收集上的事变负载相干的相同存储分片。到今朝为止,Facebook已经安装的处事器中只有20%包括在这个庞大的共享资源池中,但最终Facebook但愿可以或许随时随地行使其环球资源,而不再思量数据中心和地区。

这是另一个风趣的调查,Borg思量事变负载的方法是,有在线事变和批处理赏罚事变,调治措施的首要事变是用批处理赏罚事变(如MapReduce数据说明事变)添补空闲的容量,直到在线事变(如添补搜刮引擎哀求)必要更多的容量。因此,这两种范例的事变在体系上交织举办,按必要按比例增进和镌汰它们的行使,以进步操作率。

Facebook采纳了一种差异的要领,并在原始处事器级别举办思索。起首,行使微处事器时,每个处事器节点的原始计较劲更小,因此与行使双套接字呆板对比,可以支解的部门更少(这一点跟着AMD Rome Epyc处理赏罚器的高内核数目而产生变革)。在Facebook,措施员被辅导以这样一种方法编码,纵然用他们在处事器上所能行使的全部容量。在每个地区的夜间,当消息概要、Messenger、Web前端和应用措施的其他层没有被大量行使时,该地区的处事器节点将执行各类批处理赏罚事变,如MapReduce说明和统计呆板进修(事实,并不是全部的对象都必要GPU才气举办深度进修)。因此,不必担忧几多在线或批处理赏罚事变提供每个物理处事器上差异的容器与Resource Broker,Facebook将批处理赏罚或在线事变分派给每个处事器,确保它运行完备获得最有代价的斲丧。这是谷歌和Facebook之间一个风趣的区别,在Facebook中,容器现实上更像是一种陈设机制,而不是事变负载断绝器材。

除下场限之外,尚有一个规模是Facebook声称对Kubernetes有吹捧的权力,那就是打点有状态的应用措施——好比Facebook网站、Instagram、Messenger和WhatsApp背后的数据库和数据存储,包罗ZippyDB、ODS Gorilla和Skuba——而不是无状态的应用措施——好比组成Facebook应用措施前端的收集和PHP处事器。

Tupperware节制器上增进了一项名为TaskControl的处事,该处事查察应用措施对维护与其存储的有状态链接的依靠性,然后按照这些需求抉择怎样陈设运行这些应用措施的容器,并按照必要更新和移动它们,而不会粉碎该有状态链接,从而破坏或瓦解应用措施。TaskControl与一个名为ShardManager的数据处事协同事变,该处事抉择命据在Facebook收集中的安排和复制。这统统都是自动完成的,措施员不必为此大惊小怪。

按比例节制按比例存储

正如你也许想象的那样,打点Tupperware和其他Facebook处事中的节制平面的数据是一项很大的事变,为此,Facebook正在评论一种新的复制存储体系Delos,陈设在Facebook仓库的节制平面中,最终也许成为文件和工具存储的架构。

在Delos建设之前,Facebook软件的各类节制平面中行使的数据以各类差异的方法存储,有些行使MySQL,有些行使ZooKeeper,有些行使其他键值存储或数据库。与大大都公司一样,每个奇异的应用措施好像都必要一个奇异的数据存储或数据库,具有本身的API、机能、容错和陈设要领。节制平面的这些存储体系凡是必需从新开始计划,并在每次向这些节制平面添加一组新特征时重写。这真是件贫困事。

因此,Flinn汇报“Next平台”,Facebook放弃了行使Delos的单片存储体系计划。

Flinn表明说,Delos背后的设法是环绕可重构、假造、漫衍式共享块的新抽象构建一个存储体系,这应承我们满意节制平面的很多奇异方针。以是你有了高靠得住存储的尺度:它必需是高可用的,它必需是强同等的。它还必需有一个相等富厚的API,个中包括一些相同于带有帮助索引的相关查询的内容,以及一些查询筹划和伟大谓词。它还必需运行在各类百般的硬件上,我们最新的和最好的呆板上,它们的存储空间必定是最好的,可是它也应该运行在旧的呆板上,这些呆板也许与它提供元数据的处事位于统一位置。最后,在我看来,这方面最大的要求,也是Delos所提供的奇异之处之一,就是它必需没有依靠相关,并且它的计划方针是在仓库的底部。这简化了一些工作,好比打开一个新的数据中心、规复事变等等。

Delos背后的要害头脑是,所谓物化的数据状态与存储的次序和耐久性方面是疏散的,而且可以从相对简朴的日记构建具有差异级别容错或复制的更伟大的日记。像下图这样:

将来的Kubernetes将效仿Facebook的做法

VirtualLog可以切换模式,以一种SimpleLog名目操纵另一种SimpleLog名目,同时如故在更高的详细化级别上维护状态,这就是相关、键值、文件体系和其他API对外果真的方法。这样做的甜头是,可以在不粉碎上层API层的环境下完全变动存储体系的底层,这意味着两件事:存储体系可以具有多个并发的特征,而且可以按照必要独立地更新差异的层。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读