spark docker- image -tool找不到docker镜像
spark docker- image -tool找不到docker镜像
提问于 2020-04-08 15:19:54
我在kuberenets helm install microsoft/spark --version 1.0.0上部署了spark (也尝试了bitnami图表，结果相同)
我转到$SPARK_HOME/bin
docker-image-tool.sh -r -t my-tag build 这返回找不到docker图像。此脚本必须从Apache Spark的可运行发行版运行。
但是所有的spark runnables都在这个目录中。
bash-4.4# cd $SPARK_HOME/bin
bash-4.4# ls
beeline find-spark-home.cmd pyspark.cmd spark-class spark-shell.cmd spark-sql2.cmd sparkR
beeline.cmd load-spark-env.cmd pyspark2.cmd spark-class.cmd spark-shell2.cmd spark-submit sparkR.cmd
docker-image-tool.sh load-spark-env.sh run-example spark-class2.cmd spark-sql spark-submit.cmd sparkR2.cmd
find-spark-home pyspark run-example.cmd spark-shell spark-sql.cmd spark-submit2.cmd有什么建议吗?我哪里做错了？我没有对spark做过任何其他的配置，我是不是遗漏了什么？我应该自己安装docker，还是其他工具？
回答 1
Stack Overflow用户
发布于 2020-04-08 16:08:54
你在这里混合了各种东西。
当你运行helm install microsoft/spark --version 1.0.0时，你在Kubernetes中部署了所有必备的Spark。赫尔姆正在为你做所有的苦差事。运行这个之后，Spark就可以使用了。
然后，在使用Helm部署Spark之后，您将尝试从已经在Kubernetes上运行的Spark pod中部署Spark。
这是两个不同的东西，不应该混为一谈。This指南解释了如何在Kubernetes上手动运行Spark，但幸运的是，可以像以前一样使用Helm来完成。
当你运行helm install myspark microsoft/spark --version 1.0.0时，输出告诉你如何访问你的spark webui：
NAME: myspark
LAST DEPLOYED: Wed Apr 8 08:01:39 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
1. Get the Spark URL to visit by running these commands in the same shell:
NOTE: It may take a few minutes for the LoadBalancer IP to be available.
You can watch the status of by running 'kubectl get svc --namespace default -w myspark-webui'
export SPARK_SERVICE_IP=$(kubectl get svc --namespace default myspark-webui -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
echo http://$SPARK_SERVICE_IP:8080
2. Get the Zeppelin URL to visit by running these commands in the same shell:
NOTE: It may take a few minutes for the LoadBalancer IP to be available.
You can watch the status of by running 'kubectl get svc --namespace default -w myspark-zeppelin'
export ZEPPELIN_SERVICE_IP=$(kubectl get svc --namespace default myspark-zeppelin -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
echo http://$ZEPPELIN_SERVICE_IP:8080让我们来检查一下：
$ export SPARK_SERVICE_IP=$(kubectl get svc --namespace default myspark-webui -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
$ echo http://$SPARK_SERVICE_IP:8080
http://34.70.212.182:8080如果你打开这个URL，你的Spark webui就准备好了。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61095270
复制相关文章
相似问题
腾讯云开发者
