华为云Volcano容器批量计算正式成为CNCF官方项目

日前,CNCF(云原生存较基金会)正式采取由华为云孝顺的容器批量计较项目Volcano,迎来CNCF首个容器批量计较项目。Volcano 项目标插手,将CNCF的云原生国界进一步扩展至AI、大数据、基因等批量计较规模,为构建“云原生批量计较平台”奠基了基本。

“华为云多年来一向致力于云原生技能推广,不只在海内最早推出了Kubernetes云原生容器技能的贸易化产物云容器引擎CCE和云容器实例CCI,并且在开源社区提倡并率领了多个生态项目,辅佐各行业更快地落地并实践云原生技能。”华为云CTO张宇昕暗示,“Volcano是基于Kubernetes的云原生批量计较引擎,基于华为云在AI、大数据规模的深挚营业蕴蓄,补齐了Kubernetes在面向AI、大数据、高机能计较等批量计较使命调治、编排等场景下的短板,向下支持鲲鹏、昇腾、X86等多元算力,向上使能TensorFlow、Spark、华为MindSpore等主风行业计较框架,让数据科学家和算法工程师充实享受到云原生技能所带来的高效计较与极致体验。”

Volcano先容

       跟着Kubernetes的成熟,越来越多的企业把Kubernetes作为AI、大数据以及高机能批量计较的下一代基本办法,得益于Kubernetes在应用同等性、跨云迁徙便利性、机动使命调治等方面的上风,使得Kubernetes在大数据、AI、以及高机能批量计较规模快速获得普及应用。

然而,Kubernetes作为普适的容器化办理方案,应用到大数据、AI、高机能批量计较等专业规模时,仍与营业诉求存在一些差距,首要表此刻:

•K8s的原生调治成果无法满意计较要求, 

•K8s功课打点手段无法满意AI实习的伟大诉求

•数据打点方面,穷乏计较侧数据缓存手段,数据位置感知等成果

•资源打点方面穷乏分时共享,操作率低

•硬件异构手段弱

华为云容器团队针对以上题目,推出高机能容器批量计较办理方案,同时,为加速云原生技能在各行业的快速遍及,于2019年将办理方案的焦点引擎Volcano开源,Volcano在调治、功课打点、数据打点、资源打点四个方面举办了重点优化。

•加强了使命调治手段,如公正的调治(fair-share),组调治(gang-scheduling)

•进一步优化了功课打点手段,如multiple pod template手段, 更机动的error handling机制

•增进计较侧数据缓存,晋升数据的传输与读取服从

•引入多维度的综合评分机制,实现资源更高效的打点和分派

•多元算力支持:支持x86、鲲鹏和昇腾等算力

生态相助

针对差异应用场景,Volcano已与多个主流计较框架社区完成官方相助集成,包罗Kubeflow、Spark、PaddlePaddle、Horovod (MPI)、Cromwell 、MindSpore等。

Volcano补充了Kubernetes在AI场景下的不敷,为飞桨漫衍式深度进修对接Kubernetes提供了更好支持,PaddlePaddle on Volcano方案明显简化了飞桨保举体系办理方案 ElasticCTR的陈设落地,我们很是等候Kubernetes+Volcano+PaddlePaddle的整套开源陈设方案越发成熟完美,给AI开拓者带来更大便利”。 

——飞桨(PaddlePaddle)总架构师于佃海

MindSpore是华为开源的一款支持端边云全场景的深度进修实习推理框架,当前首要应用于计较机视觉、天然说话处理赏罚等AI规模,旨在为数据科学家和算法工程师提供计划友爱、运行高效的开拓体验,提供昇腾AI处理赏罚器原生支持及软硬件协同优化。Volcano开源项目将有助于晋升Kubernetes对AI使命的调治手段支持,有利于MindSpore等深度进修框架越发有用的陈设,为AI和云原生两大规模的联袂共创繁荣开源生态打下了坚硬的基本。

——MindSpore社区技能委员会主席、华为MindSpore首席科学家陈雷传授

Volcano自2019年6月公布开源以来,受到了普及的存眷和支持,来自15家大企业/机构的80+焦点开拓者参加了社区开拓及孝顺。

贸易应用

今朝,Volcano已在华为云容器批量计较办理方案商用,并支撑多家海表里头部企业应用于AI、大数据、基因等计较场景。

Volcano支持批量使命与容器的快速发放,最快每秒可发放1000容器,并提供公正调治、行列调治等高级成果,同时与华为鲲鹏、昇腾处理赏罚器深度融合,打造更高机能、更高性价比的容器批量计较办理方案。

将来可期

此次CNCF正式将Volcano采取为云原生规模独一容器批量计较项目,将极大促进Volcano上下流社区生态构建及相助,吸引宽大云原生企业用户深度参加,Volcano将在企业数字化、云原生转型进程中施展越来越重要的浸染,华为云也将在云原生规模一连耕种、一连引领创新、繁荣生态,助力各行业走向快速智能成长之路。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!