然后，我发现应该将SPARK_NO_DAEMONIZE设置为TRUE --通过使用下面的命令“bash‘ing”到Docker来实现这一点
然后，我尝试启动火花-‘/opt/sbin/start-master.sh. the’，然后得到了错误。org.apache.spark.deploy.m
浏览 5提问于2022-08-29得票数 0
回答已采纳
我有一个运行在Docker容器中的Spark集群(使用我自己制作的镜像)。一切都很好。我现在想使用Apache Livy，并且根据文档所说，我需要获取几个环境变量：export HADOOP_CONF_DIR=/etc/
浏览 4提问于2019-04-16得票数 0
我运行火花工作人员使用码头，复制使用码头-组合设置： spark-worker: - SPARK_MODE=worker deploy:mode: replicated
repl
浏览 0提问于2022-07-01得票数 1
回答已采纳
通过设置以下属性，我将在Mesos Docker容器上运行一个Spark应用程序。--conf 'spark.local.dir=/var/lib/spark'--conf 'spark.mesos.exec
浏览 1提问于2016-10-13得票数 2
回答已采纳
我能够运行星星团。但是，我必须给出一个启动spark-shell的绝对路径。我正在尝试在start-shell.sh中设置环境变量，即PATH和其他几个变量。然而，它并没有在容器中设置那个。不过，星火群集正在成功运行。SPARK_MASTER_LOG=${SPARK_HOME}/logs/<em
浏览 6提问于2021-08-16得票数 0
回答已采纳
2回答
但是，当我试图在我的Kubernetes集群上运行同一个jar文件时，它会抛出一个错误。下面是我的spark-submit代码以及抛出的错误。-SNAPSHOT.jar local:///C:/Users/siddh/OneDrive/Desktop/initialData.txt
最后一个local参数是wordcount程序将在其上运行并获取结果的数据文件, image=gcr.io/spark-operator/<
浏览 6提问于2020-02-11得票数 0
我正在尝试从Docker image.Taking中提取Dockerfile查看popular answer，我执行了以下命令： docker run -v /var/run/docker.sock:/var/run/docker.sock --rm alpine/dfimage -sV=1.36 quay.io/opendatahub/spark-cluster-image:spark24 出现以
浏览 16提问于2020-11-29得票数 1
回答已采纳
我有基于spring的spark 2.3.0应用程序。我正在尝试在kubernetes(minikube)上做spark submit。下面是堆栈跟踪：
start time: N/Adocker</
浏览 0提问于2018-04-11得票数 2
我使用下面的代码( docker -Apache spark)安装了一个docker和Docker容器。Docker File:- MAINTAINER Getty Images "https://github.com/gettyimages"ENV SPARK_VERSION 2.4.1
ENV SPARK_PACKAGE spark-$
浏览 2提问于2020-07-13得票数 0
我有一个docker容器在我的笔记本电脑上运行，其中有一个master和三个worker，我可以通过使用如下命令输入master的ip来启动典型的单词计数示例： bash-4.3# spark/bin/output-5 我可以看到这些文件是如何在output-5中生成的 但当我尝试从外部启动该进程时，使用以下命令： docker run --network docker-spark-cluster_spark-network问题是，为什么do
浏览 24提问于2019-03-19得票数 1
回答已采纳
SPARK_HOME/bin docker-image-tool.sh -r -t my-tag build 这返回找不到docker图像。此脚本必须从Apache Spark的可运行发行版运行。 但是所有的spark runnables都在这个目录中。spark-class spark-shell.cmd spark-sql2.cmd sparkR
beel
浏览 50提问于2020-04-08得票数 0
1回答
我能够使用以下命令成功地运行Python作业： --deploy-mode cluster \ --conf spark.kubernetes.driver.docker.image=kubespark/spark-driver-py:v2.2.0-kubernetes//
浏览 0提问于2018-02-10得票数 2
回答已采纳
1回答
我有一个名为spark-docker的spark的docker镜像和卡桑德拉官方的docker镜像cassandra。我想从spark-docker运行一个spark-submit作业，它将在cassandra中写入数据。spark-docker的Dockerfile如下： FROM bde2020/spark-python-template:2.4.0-hadoop2.
浏览 22提问于2019-01-23得票数 0
我想安排命令："docker run -it --cpu 4 q2c-spark:latest“每月在第二个工作日的早上在windows上运行。我怎么发动汽车呢？windows上的命令“docker run -it --cpu 4 q2c-spark:latest” 这些可以在cmd窗口中运行。这是一个spark scala应用程序 我需要触发docker命令以每月运行一次
浏览 8提问于2019-09-26得票数 2
我正在构建一个Mesos集群来运行Apache Spark。我更喜欢为我的Spark executors使用Docker容器，我可以使用spark-submit的客户端模式(使用--master mesos://mesosmaster:5050和--conf spark.mesos.executor.docker.image)，但是当我指定一个docker镜像供执行器使用时，似乎调度程序忽略了该参数，并尝试直接在Mesos沙箱中<e
浏览 7提问于2017-08-26得票数 1
1回答
看起来像这样：--master k8s://https://XXX \--name spark-pi=spark \--conf spark.kubernetes.container.image=XXX \
--conf spark</
浏览 31提问于2021-06-02得票数 0
回答已采纳
zeppelin: container_name: zeppelin # - spark-masterports:如果我访问齐柏林飞艇(在localhost:8083)并执行spark.version，它仍然将版本读取为2.4.5。
浏览 1提问于2021-06-28得票数 2
回答已采纳
我已经为hadoop纱线设置了docker，并且我正在尝试设置livy apache服务器来为作业提交进行API调用。server.AbstractConnector: Stopped ServerConnector@686449f9{HTTP/1.1,[http/1.1]}{x.x.x.x:8080} cp /tmp/livy.conf /livy/apache-livy-0.6.0-
浏览 0提问于2019-08-17得票数 1
1回答
容器在一个小时后由于OOM而崩溃
、、、、
我在DC/OS上使用docker运行spark。当我提交spark作业时，使用以下内存配置Executor 2 Gb
执行程序的数量为3个。spark提交工作正常，1小时后，docker容器(worker容器)由于OOM (退出代码137)而崩溃。但是我的spark日志显示内存的1Gb+是可用的。奇怪的是在容器中运行的同一个jar，在独立模式下正常运行了几乎20+个小时。这是Spark
浏览 0提问于2017-10-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
