大数据期间 金山云容器引擎实践为用户缔造更多代价

跟着云原生技能的加快遍及，Kubernetes逐渐成为IT技能架构的基石，并敦促着各行业技能架构的转型进级。在《InfoQ 编辑部开年聊聊2020 年值得存眷的十大技能趋势》报道中，写到个中一个趋势是容器化加快囊括大数据基本架构。

本日，我们就分享下金山云容器引擎在大数据平台的应用实践。

　　大数据平台拥抱Kubernetes 金山云容器引擎应需而生

众所周知，Hadoop的呈现加快大数据技能的应用推广，跟着应用场景的不绝富厚，近几年也涌现出多款优越的计较框架，如Spark、Flink等。此前在大数据漫衍式调治平台中，各人广泛回收是Yarn，可是跟着应用场景富厚和局限扩大，平台逐渐袒暴露一些题目，如资源断绝限定较弱、监控信息不完美、弹性扩展手段弱、GPU支持不敷等。

跟着容器化的快速成长，大数据原有的Hadoop Yarn漫衍式使命调治模式，正在被基于Kubernetes的技能架构所代替。容器依附轻量秒级陈设、一次构建、随处运行的庞大上风，敦促了快捷、自动化的事变流程，同时Kubernetes提供的强盛编排手段以及发杀青长的社区生态，为大数据容器化提供了便捷的平台。

大数据体系原生支持on Kubernetes，譬喻Spark 从官方2.3版本开始就可以无需任何修改直接运行在 Kubernetes 上，这是一个里程碑式的变乱，表白了将来技能架构的成长偏向。

容器引擎是金山云推出的Kubernetes处事产物，基于原生的Kubernetes举办开拓和适配，无缝融合了金山云生态的其他基本资源和产物处事。

今朝，金山云容器引擎包围主流应用的多版本Kubernetes，支持一键式建设，多可用区高可用陈设，同时提供旧版本的一键进级成果，一连掩护用户资产;集成云平台手段，如收集方案(Flannel和Canal)、耐久化存储(块存储和文件存储)、安详(多租户断绝和主机加固)等;镜像客栈支持对Docker hub、gcr.io镜像加快，高速内网下载镜像，11个9的靠得住性担保;在节制台支持Kubernetes 的软件包揽理器材Helm，提供金山云官方Helm Chart，支持在线可视化陈设Helm应用。

另外，金山云容器引擎大幅低落了Kubernetes的行使门槛和综合本钱，让用户开拓团队更专注自身营业。

　同一打点、弹性伸缩 为用户缔造更多代价

因为大数据应用的伟大性，会行使多种范例的机型作为Work节点，如操作云主机应对快速的流量扩容、操作云物理处事器提供无机能消费手段、操作云GPU处事器的大局限线程和高速计较力上风等等，来满意计较的需求。

金山云容器引擎提供殽杂集群的同一打点处事，在一个集群可以实现多种范例节点的同一打点，通过Label的配置可以实现对整体资源的同一调治陈设，停止了多个集群的行使，一方面大幅低落了行使本钱，另一方面有用晋升打点服从。

大数据营业对计较的需求是动态的，而且颠簸较大，金山云容器引擎支持Cluster AutoScaler实现集群事变节点的弹性伸缩，节减开支。今朝，金山云容器引擎自己免费对外提供行使，同时提供免费的企业级容器镜像客栈处事，用户仅需付出所行使资源的用度，事变节点支持预付费包年包月、按日设置付费、按小时设置计费等机动的计费计策选择。

整体框架图

大数据云平台操作容器引擎集群、云物理机集群、云处事器集群构建大数据节制平台和共享处事资源池，为用户提供租户断绝、安详靠得住的大数据托管处事。

大数据平台在容器引擎的陈设方案如上图所示：

1、在endpoint容器引擎集群中陈设微处事架构，如：数据打点(元数据打点、数据权限、数据质量、数据舆图等)、数据处事、数据收罗，共享的组件mysql ,redis等基本处事。

2、在online/offline容器引擎集群中陈设的大数据组hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等，今朝hive、hbase等用的是HDFS存储，而zookeeper、ElasticSearch、kafka用的是NFS、KS3存储。

今朝，金山云大数据平台已行使容器引擎平台陈设在线和离线的营业，支持海量数据处理赏罚，在整个进程两边团队蕴蓄了富厚的大数据行使履历，一连在spark on kubernetes的动态资源、kube-scheduler调治计策等方面举办优化，进级产物成果，并赋能更普及的大数据相干用户，为用户缔造更多代价。

作为CNCF基金会黄金会员之一，金山云致力于敦促基于容器技能的云原出产物方案落地实践。今朝，金山云已通过CNCF Kubernetes处事提供商认证，容器引擎已通过CNCF Kubernetes同等性认证以及可信云容器办理方案认证和可信云Kubernetes认证。另外，金山云拥有CNCF CKA、CKAD认证的高级技能专家团队，为用户提供专业的产物和处事支持。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!