Spark on Kubernetes 的现状与挑战

资源调治器可以简朴分类成齐集式资源调治器和两级资源调治器。两级资源调治器有一此中央调治器认真宏观资源调治，对付某个应用的调治则由下面分区资源调治器来做。两级资源调治器对付大局限应用的打点调治每每能有一个精采的支持，好比机能方面，弱点也很明明，实现伟大。其拭魅这种计划头脑在许多处所都有应用，好比内存打点内里的 tcmalloc 算法，Go 说话的内存打点实现。大数据的资源调治器 Mesos/Yarn，某种水平上都可以归类为两级资源调治器。

齐集式资源调治器对付全部的资源哀求举办相应和决定，这在集群局限大了之后不免会导致一个单点瓶颈，毋庸置疑。可是 Kubernetes 的 scheduler 尚有一点差异的是，它是一种进级版，一种基于共享状态的齐集式资源调治器。Kubernetes 通过将整个集群的资源缓存到 scheduler 当地，在举办资源调治的时辰在按照缓存的资源状态来做一个 “乐观” 分派(assume + commit)来实现调治器的高机能。

Kubernetes 的默认调治器在某种水平上并不能很好的 match Spark 的 job 调治需求，对此一种可行的技能方案是再提供一种 custom scheduler，好比 Spark on Kubernetes Native 方法的参加者之一的大数据公司 Palantir 就开源了他们的 custom scheduler，github repo: https://github.com/palantir/k8s-spark-scheduler。

2.集群局限瓶颈。

根基上此刻可以确定的是 Kubernetes 会在集群局限到达五千台的时辰呈现瓶颈，可是在很早期的时辰 Spark 颁发论文的时辰就声称 Spark Standalone 模式可以支持一万台局限。Kubernetes 的瓶颈首要表此刻 master 上，好比用来做元数据存储的基于 raft 同等性协议的 etcd 和 apiserver 等。对此在刚已往的 2019 上海 KubeCon 大会上，阿里巴巴做了一个关于进步 master 机能的 session: 相识 Kubernetes Master 的可扩展性和机能，感乐趣的可以自行相识。

3.Pod 遣散(Eviction)题目。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!