使用Docker运行spark

kongxx

发布于 2018-07-04 10:29:26

2.3K0

文章被收录于专栏：有困难要上，没有困难创造困难也要上！有困难要上，没有困难创造困难也要上！

获取docker镜像

sudo docker pull sequenceiq/spark:1.6.0

运行docker容器

sudo docker run -it --name spark --rm sequenceiq/spark:1.6.0 /bin/bash

运行作业

$ cd /usr/local/spark
$ bin/spark-submit --master yarn-client --class org.apache.spark.examples.JavaWordCount lib/spark-examples-1.6.0-hadoop2.6.0.jar file:/usr/local/hadoop/input/

我们也可以把启动容器和运行作业放在一起，比如：

sudo docker run -it --name spark --rm sequenceiq/spark:1.6.0 sh -c "\"spark-submit --master yarn-client --class org.apache.spark.examples.JavaWordCount /usr/local/spark/lib/spark-examples-1.6.0-hadoop2.6.0.jar file:/usr/local/hadoop/input/\""

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018.07.04 ，如有侵权请联系 cloudcommunity@tencent.com 删除

容器镜像服务