基于Kubernetes的Spark部署完全指南-白红宇

基于Kubernetes的Spark部署完全指南

阅读量：318 次

发布时间：2019-03-04

本文共 5824 字，大约阅读时间需要 19 分钟。

基于Kubernetes的Spark集群部署指南

【编者的话】本文提供了从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop的默认资源编排管理平台，但近年来被Kubernetes取代。Kubernetes成为基于对象存储的Spark系统的默认编排管理平台。以下将详细介绍如何在Kubernetes集群上构建和部署Spark容器，并配置Spark集群通过S3 API进行存储操作。

构建Spark容器

在Kubernetes上部署应用的第一步，是创建容器。Apache Spark目前并未提供官方镜像，因此我们需要自行构建Spark容器。以下是一个Dockerfile示例，用于构建Spark容器：

FROM java:openjdk-8-jdkENV hadoop_ver=2.8.2ENV spark_ver=2.4.4RUN mkdir -p /opt && cd /opt \    && curl http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz | tar -zx && ln -s hadoop-${hadoop_ver} hadoop \    && echo Hadoop ${hadoop_ver} installed in /optRUN mkdir -p /opt && cd /opt \    && curl http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz | tar -zx && ln -s spark-${spark_ver}-bin-without-hadoop spark \    && echo Spark ${spark_ver} installed in /optENV SPARK_HOME=/opt/sparkENV PATH=$PATH:$SPARK_HOME/binENV HADOOP_HOME=/opt/hadoopENV PATH=$PATH:$HADOOP_HOME/binENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/nativeRUN curl http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar -o /opt/spark/jars/hadoop-aws-2.8.2.jar \    && curl http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar -o /opt/spark/jars/httpclient-4.5.3.jar \    && curl http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar \    && curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar \    && curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-1.11.712.jar \    && curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar \    && curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jarADD start-common.sh start-worker start-master/ADD core-site.xml /opt/spark/conf/core-site.xmlADD spark-defaults.conf /opt/spark/conf/spark-defaults.confENV PATH $PATH:/opt/spark/bin

这个Dockerfile首先从官方地址下载Apache Spark和Hadoop，然后从Maven获取相关的jar包。所有关联文件解压后，将添加到镜像中。通过解读这些步骤，你可以了解Spark容器的内部内容，并根据需要进行修改。

如果你想使用这个仓库中的内容，可以先使用以下命令将其克隆到本地：

git clone git@github.com:devshlabs/spark-kubernetes.git

然后根据需要在你的环境中进行修改，构建镜像，并上传到你使用的容器注册表中（如Dockerhub）。命令如下：

cd spark-kubernetes/spark-containerbuild -t mydockerrepo/spark:2.4.4 .docker push mydockerrepo/spark:2.4.4

记得将mydockerrepo替换为你的实际注册表名字。

在Kubernetes上部署Spark

到这里，Spark容器镜像已经构建完成，可以开始在Kubernetes上部署了。我们将使用Kubernetes ReplicationController创建Spark Master和Worker节点。

创建Spark Master：

kind: ReplicationControllerapiVersion: v1metadata:  name: spark-master-controllersspec:  replicas: 1  selector:    component: spark-masters  template:    metadata:      labels:        component: spark-masters    spec:      hostname: spark-master-hostname      subdomain: spark-master-headless      containers:        - name: spark-master          image: mydockerrepo/spark:2.4.4          imagePullPolicy: Always          command: ['/start-master']          ports:          - containerPort: 7077          - containerPort: 8080          resources:            requests:              cpu: 100m

创建Spark Master服务：

kind: ServiceapiVersion: v1metadata:  name: spark-masterspec:  selector:    component: spark-masters  ports:  - containerPort: 7077  - containerPort: 8080  clusterIP: 10.108.94.160

部署Spark Worker：

kind: ReplicationControllerapiVersion: v1metadata:  name: spark-worker-controllersspec:  replicas: 2  selector:    component: spark-workers  template:    metadata:      labels:        component: spark-workers    spec:      hostname: spark-worker-hostname      subdomain: spark-worker-headless      containers:        - name: spark-worker          image: mydockerrepo/spark:2.4.4          imagePullPolicy: Always          command: ['/start-worker']          ports:          - containerPort: 8081

最后，确认所有服务是否正常运行：

kubectl get all

执行以上命令，你应该可以看到以下内容：

NAME                       READY   STATUS    RESTARTS   AGEspark-master-controllers   1/1     Running   0         9mspark-worker-controllers   2/2     Running   0         9msvc/spark-master          10.108.94.160:7077/TCP,8080/TCP   9m

向Spark集群提交Job

现在，你需要一个有效的AWS S3账户和存有样本数据的桶。将数据上传到S3桶中后，可以通过以下命令将数据加载到Spark集群中：

kubectl exec -it spark-master-controller-v2hjb /bin/bash

登录后运行Spark Shell：

export SPARK_DIST_CLASSPATH=$(hadoop classpath) spark-shell

设置S3存储配置：

sc.hadoopConfiguration.set("fs.s3a.endpoint", "https://s3.amazonaws.com")sc.hadoopConfiguration.set("fs.s3a.access.key", "s3-access-key")sc.hadoopConfiguration.set("fs.s3a.secret.key", "s3-secret-key")

提交Spark Job：

import org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.spark.util.IntParamimport org.apache.spark.sql.SQLContextimport org.apache.spark.graphx._import org.apache.spark.graphx.util.GraphGeneratorsimport org.apache.spark.mllib.regression.LabeledPointimport org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.mllib.tree.DecisionTreeimport org.apache.spark.mllib.tree.model.DecisionTreeModelimport org.apache.spark.mllib.util.MLUtilsval conf = new SparkConf().setAppName("YouTube")val sqlContext = new SQLContext(sc)import sqlContext.implicits._import sqlContext._valval youtubeDF = spark.read.format("csv").option("sep",",").option("inferSchema", "true").option("header", "true").load("s3a://s3-data-bucket/data.csv")youtubeDF.registerTempTable("popular")val fltCount = sqlContext.sql("select s.title, s.views from popular s")fltCount.show()

通过kubectl patch命令，可以对Spark部署进行扩展和优化。例如，在负载较高时添加更多工作节点，然后在负载下降后删除这些工作节点。

转载地址：http://tlgq.baihongyu.com/

你可能感兴趣的文章