加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 云计算 > 正文

英特尔助攻,阿里云大数据平台创天下记载

发布时间:2019-10-23 07:36:28 所属栏目:云计算 来源:至顶网
导读:副问题#e# 国庆长假时代,一则关于阿里巴巴自研数据库OceanBase击败天下头号数据库厂商Oracle的动静引起了热议,源起是OceanBase提交的一份TPC-C测试功效远远高出了Oracle,荣登榜首。现实上,这并不是阿里巴巴初次在TPC测试中取得优秀示意。此前的云栖大会
副问题[/!--empirenews.page--]

国庆长假时代,一则关于阿里巴巴自研数据库OceanBase击败天下头号数据库厂商Oracle的动静引起了热议,源起是OceanBase提交的一份TPC-C测试功效远远高出了Oracle,荣登榜首。现实上,这并不是阿里巴巴初次在TPC测试中取得优秀示意。此前的云栖大会上,阿里云就曾对外公布,在国际大数据机能基准测试TPCx-BB中,阿里云MaxCompute与飞天AI平台焦点引擎PAI以100TB的数据局限缔造天下记载。固然分属于TPC差异的测试,但功效却一样亮眼,充拭魅展示了阿里云的技能气力,以及其整合相助搭档的技能的手段,好比阿里云MaxCompute和PAI破记载就离不开英特尔的大力支持。

TPC( Transaction Processing Performance Council,事宜处理赏罚机能委员会 )是由数10家会员公司建设的非红利组织,它的首要职责是拟定商务应用基准措施(Benchmark)的尺度类型、机能和价值怀抱,并打点测试功效的宣布。今朝,TPC已经推出了多套基准措施,面向事宜处理赏罚(OLTP)的基准措施TPC-C(OceanBase提交的就是这个测试功效),和MaxCompute提交的面向大数据的基准措施TPCx-BB等都在这些基准措施之列。

个中的TPCx-BB是TPC拟定的权衡大数据体系的机能基准测试尺度TPC Benchmark Express-BigBench的简称, TPCx-BB通过最常用大数据应用场景来全面权衡体系软硬件机能。因为测试功效可以全面精确地反应大数据体系端到端的整体运行机能,因此也是最终客户选择最佳软硬件平台的重要参考尺度。

此次测试的MaxCompute是阿里云的一项大数据计较处事,属于阿里飞天操纵体系的重要构成部门,能提供快速、完全托管的PB级数据客栈办理方案,从而经济、高效地说明和处理赏罚海量数据,并支持SQL、MapReduce、Graph等多种计较模子。

据阿里云计较平台研究员、高级总监关涛先容,阿里云从2015年开始举办各类百般的Benchmark测试。最初回收的是Sort benchmark,测试其在大局限数据集长举办排序的机能。其后阿里云发明,只做排序无法代表越来越富厚的用户功课场景,最后才选择了BigBench。

“之以是选择BigBench,一方面在于BigBench 作为TPC部属组织,相比拟力势力巨子;其次,BigBench中既包括了各类范例的事变负载,既有大数据的事变负载,也包罗了呆板进修的事变负载;既包括了布局化数据也包括了非布局化的数据。它要求提交的是一个很是富厚的测试功效,有30种差异的维度基准连系来测评,可以从差异维度来说明。”关涛暗示。

而阿里云之以是要举办上述测试,关涛表明说,其目标是想以测试为抓手优化阿里云的体系,同时,也但愿通过测试来浮现阿里云的机能和性价比。

最后的功效也简直到达了预期,阿里云提交的MaxCompute的测试功效表白,通过一连的优化,MaxCompute示意很是优越:是环球独逐一家通过100TB测试的体系。因为是独一通过100TB测试的体系,为了利便跟其他体系比拟,阿里约嵋愀樟茵离在30TB、10TB级别长举办测试。功效表白,和第二名的比拟,阿里云MaxCompute的机能快一倍的同时,本钱或容许以低落一半。

“这个后果意味着,假如我们用第二名的体系,在机能慢一倍的同时,本钱上还要多花一倍。好比用户用第二名的体系必要1000台呆板完成的事变,MaxCompute一半就够了。”关涛表明说。

软硬件团结,配合缔造优秀后果

MaxCompute云云优秀的示意天然离不开阿里云的全力,同时,也不得不提英特尔的大力共同。究竟上,从2015年开始举办MaxCompute的测试以来,阿里云与英特尔一向亲近共同。英特尔以软硬件全方位手段支持阿里云MaxCompute,在大数据引擎的尺度适配、支持云计较模子、机能优化,以及最大化内存操作率等方面和阿里云深入相助,大大晋升大数据说明的机能,加强云上的大数据发掘和贸易智能说明的手段。使得它在TPCx-BB中可以到达25641BBQpm(每分钟处理赏罚的哀求量),最高性价比可达USD224.49/BBQpm。

1

英特尔高级首席工程师、大数据说明和人工智能创新院院长戴金权(右)

关涛暗示,两边相助进程中,英特尔提供了很大的辅佐。起首,英特尔晋升了自身硬件手段;其次,两边为软硬团结举办了优化,好比英特尔至强可扩展处理赏罚器引入AVX-512,从256位升到512位,进一步晋升了机能;第三,在软件层面,英特尔也从成果性、扩展性上等举办了优化。这些成果叠加到一路让体系机能翻了一番。

英特尔高级首席工程师、大数据说明和人工智能创新院院长戴金权进一步增补说:“除了回收英特尔至强可扩展处理赏罚器外,站在软件角度,我们一路相助做了很是多的事变。好比,我们用了大量英特尔器材去说明机能,发明机能瓶颈并去打破;针对体系中许多焦点算法可能算子,两边工程师一路相助去进步其机能。”

关涛透露,两边环绕MaxCompute开展相助三年来,MaxCompute的示意在一连改造,险些每年都能得到机能的翻倍。而这个后果的得到正是两边在软件、硬件以及软硬件之间的共同深入相助的功效。

并且,英特尔至强可扩展处理赏罚器的性价比上风也给MaxCompute的优秀测试功效奠基了强项的基本。TPCx-BB测试包罗两部门,一个是机能,另一个运营本钱,也就是性价比。此番测试后果表白:基于英特尔至强可扩展处理赏罚器的MaxCompute,不只具有领先的端到端整体运行机能,并且在云处事市场中率先得到可权衡的性价比上风。

其它,值得一提的是,英特尔作为测试基准BigBench的重要孝顺者,在整个测试的进程还起到了一个要害浸染。英特尔与阿里云开拓团队深入相助,配合扩展TPCx-BB测试集,增进对MaxCompute计较引擎的支持,并一路在TPCx-BB委员会中配合推广MaxCompute,促成TPCx-BB官方测试集进级,继而正式纳入阿里云MaxCompute计较引擎的支持。

深入相助,配合创新

MaxCompute的优秀示意是阿里云与英特尔深入相助的一个缩影,现实上,阿里云与英特尔的相助是全方面的,是从云到端的全面相助。两边在上海还创立了连系尝试室,配合开展研究,MaxCompute上的许多创新就出自这里。

另外,两边在云计较方面还配合宣布了“阿拉丁神灯打算”,共建“开拓者云”平台。这一平台全面包围从入门级云客户到顶级ISV开拓者社区,为开拓者提供零门槛云体验。在该打算中,英特尔不只提供第二代英特尔至强可扩展处理赏罚器、英特尔傲腾数据中心级耐久内存、英特尔深度进修加快技能等先辈软硬件,以建树“开拓者云”平台,还将提供工程资源和推广方面的支持,促进阿里云平台的生态体系成长,并敦促阿里云上的PaaS和IaaS应用。另外,英特尔与阿里云在物联网、边沿计较等方面也将继承深入相助,为各行各业数字化转型注入更强动力。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读