Spark on Kubernetes 的现状与挑战

Spark on Yarn 的模式下，我们可以将日记举办 aggregation 然后查察，可是在 Kubernetes 中暂且照旧只能通过 Pod 的日记查察，这块假如要对接 Kubernetes 生态的话可以思量行使 fluentd 可能 filebeat 将 Driver 和 Executor Pod 的日记汇总到 ELK 中举办查察。

5.Prometheus 生态。

Prometheus 作为 CNCF 结业的第二个项目，根基是 Kubernetes 监控的标配，今朝 Spark 并没有提供 Prometheus Sink。并且 Prometheus 的数据读取方法是 pull 的方法，对付 Spark 中 batch job 并不得当行使 pull 的方法，也许必要引入 Prometheus 的 pushgateway。

5. 结语

被称为云上 OS 的 Kubernetes 是 Cloud Native 理念的一种技能承载与浮现，可是怎样通过 Kubernetes 来助力大数据应用照旧有许多可以试探的处所。接待交换。

【编辑保举】

1. 快速安装与设置kubernetes集群搭建
2. 18张儿童插画让你秒懂Kubernetes
3. 微处事架构在Kubernetes上的实现
4. 行使Kubernetes不得不知道的四大神器！
5. Kubernetes从懵圈到纯熟：集群处事的三个要点和一种实现

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!