基于Kubernetes的Spark部署完全指南

至此，Spark容器镜像已经构建好，并可以拉取行使了。让我们行使此镜像来陈设Spark Master和Worker。第一步是建设Spark Master。我们将行使Kubernetes ReplicationController建设Spark Master。在本文的示例中，我仅用单实例建设Spark Master。而在有HA需求的出产情形中，你也许必要将副本数配置为3可能以上。

kind: ReplicationController 

apiVersion: v1 

metadata: 

name: spark-master-controller 

spec: 

replicas: 1 

selector: 

component: spark-master 

template: 

metadata: 

  labels: 

    component: spark-master 

spec: 

  hostname: spark-master-hostname 

  subdomain: spark-master-headless 

  containers: 

    - name: spark-master 

      image: mydockerrepo/spark:2.4.4 

      imagePullPolicy: Always 

      command: ["/start-master"] 

      ports: 

        - containerPort: 7077 

        - containerPort: 8080 

      resources: 

        requests: 

          cpu: 100m 

为了使Spark Worker节点可以发明Spark Master节点，我们还必要建设headless处事。

当你从GitHub客栈完成克隆，并进入spark-kubernetes目次后，就可以启动Spark Master处事了，呼吁如下：

kubectl create -f spark-master-controller.yaml 

kubectl create -f spark-master-service.yaml 

此刻，确保Master节点和全部的处事都正常运行，然后就可以开始陈设Worker节点了。Spark Worker的副本数配置为2，你可以按照必要修改。Worker启动呼吁如下：

kubectl create -f spark-worker-controller.yaml 

最后，通过以下呼吁确认是否全部处事都正常运行：

kubectl get all 

执行以上呼吁，你应该可以看到相同下面的内容：

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!