我正在尝试运行spark- on -K8，当我在互联网上读东西的时候，我偶然发现了“Resource Staging Server”的字样。 --master k8s://k8s-url \
--deploy-mode cluster
浏览 18提问于2018-08-14得票数 1
回答已采纳
1回答
我一直在跟踪上的火花K8s ，Kubernetes v1.9.0和Minikubev0.25.0。我能够使用以下命令成功地运行Python作业： --deploy-mode cluster \
--master k8s://https://10.128.0.4///opt/spark/examples/src/main/python/pi.
浏览 0提问于2018-02-10得票数 2
回答已采纳
我目前已经使用helm在k8s中建立了spark独立集群。它有固定数量的工人(5名工人)和一名硕士。因此，我想使用k8s作为集群管理器。但是我们有一个庞大的k8s集群，并且为每个项目分配有限的资源(由名称空间分配)。使用k8s作为集群管理器会动态地生成豆荚，因此我们无法控制资源(我知道我们可以控制实例，但如果出现多个火花提交，则必须将其限制在内核和内存的范围内)。=3 \我想知道如
浏览 2提问于2020-06-22得票数 1
我们已经在Azure Kubernetes服务(AKS)上部署了Apache Spark。
能够通过CLI 提交星火申请。问题：可以从Azure数据工厂版本2提交spark作业/运行spark应用程序吗？这样，我们就可以从数据工厂组织火花应用程序。
浏览 4提问于2021-08-19得票数 1
我有一个k8s集群。现在我想在k8s集群上部署一个spark作业，我想知道是否需要在所有的worker机器上安装和配置spark。
浏览 3提问于2020-01-29得票数 0
1回答
我在Kubernetes上运行Spark 3.0应用程序(Spark Structured Streaming)，并尝试使用新的原生Prometheus指标接收器。但是，我真正需要的指标是在启用以下配置时提供的指标: spark.sql.streaming.metricsEnabled，如this Spark Summit presentation中所建议的。现在，即使将该配置设置为"true"，我在/metrics/execut
浏览 53提问于2020-10-20得票数 3
回答已采纳
我使用舵机在k8s上部署spark。我想更改metrics.properties，我制作了配置映射并将其挂载到/opt/bitnami/spark/conf。我发现了一个错误：
'/opt/bitnami/spark/conf/metrics.properties.template‘mv:无法将移动到'/opt/bitnami/spark/
浏览 15提问于2022-04-10得票数 2
回答已采纳
val spark = SparkSession.builder().appName("Demo").master(????).
浏览 1提问于2018-03-27得票数 3
我不明白为什么不能使用K8S证书管理器在上获得证书。安装了证书管理器：apiVersion: cert-manager.io/v1种类: ClusterIssuer元数据:名称:letsencrypt暂存规范: acme:电子邮件: user@example.com服务器： privateKeySecretRef: name:示例-颁发者-帐户-密钥解决程序：- http01: ingress: class: nginxapiVersion: networking.k8s.io/v1
浏览 9提问于2022-02-14得票数 1
回答已采纳
我正在K8s集群上试验Spark2.3。想知道检查点是怎么工作的？它存放在哪里？如果主驱动程序死亡，现有处理会发生什么情况？
在卡夫卡消费的情况下，补偿是如何维持的？在K8s上运行Spark流有什么问题吗？
浏览 0提问于2018-11-14得票数 1
回答已采纳
1回答
spark-shell --master k8s://http://localhost:8001 --conf spark.kubernetes.container.image=abdoumediaoptimise/spark
但是，每当我们尝试直接从一个吊舱中运行火花壳或火花提交时，它就无法工作(即使通过使用：和：--conf spark.kubernetes.authenticate.driver.serviceAccountName=spar
浏览 1提问于2019-11-25得票数 1
有很多使用Kubernetes Spark操作符创建Spark作业并简单地提交具有以下内容的请求的示例可以在this 中找到spark-pi.yaml
浏览 15提问于2020-06-04得票数 0
我正在尝试将星火作业提交给星火集群，它是在AWS EKS上设置为 backoffLimit: 420/12/25 10:06:41 INFO Utils: Successfully started service 'driverClient-fe8e-486f-9b6f-741rerf87cf1
此外，当我尝试在没有容器参数的情况下以客
浏览 3提问于2020-12-25得票数 3
回答已采纳
官方spark documentation只有关于将代码部署到spark集群的spark-submit方法的信息。它提到我们必须在kubernetes api服务器的地址前面加上k8s://。通过Spark Operator部署时，我们应该做些什么 例如，如果我有一个基本的pyspark应用程序，它像这样启动，我该如何设置master： from pyspark import SparkConf= SQLContext(sc)
spark_conf
浏览 20提问于2020-09-17得票数 1
我们有几个服务的k8s部署，包括Apache。所有服务似乎都在运作。我们的应用程序连接到Spark，使用k8s DNS服务为主服务器spark-api提交作业，因此我们使用master=spark://spark-api:7077和spark.submit.deployMode这将运行集群上的“驱动程序”和所有“执行器”，这个部分似乎可以工作，但是在我们的应用程序中有一个从某个星火进程中回调的启动代码。不用说，任何
浏览 1提问于2019-02-13得票数 0
我正在做一个我们需要部署的项目
然后，我们尝试一次推送一个暂存服务--从暂存服务器开始--它被创建并且
浏览 3提问于2019-03-27得票数 0
回答已采纳
2回答
我已经在我的k8s集群上安装了星图头盔，我有3个吊舱，运行1个主程序ET2执行程序，但仍然能够提交火花作业.在"Submit a application“一节中，它提到我们可以使用./bin/ org.apache.spark.examples.SparkPi --class org.apache.spark.examples.SparkPi--主火花://：-部署模式集群。/ /jars/spark示例_
浏览 0提问于2021-05-31得票数 0
我们正在使用集群模式和一些更多的内存配置将spark作业提交到kubernetes集群中。我的工作大约在5分钟内完成，但我的executor pods在30 - 40分钟后仍在运行。因此，新作业处于挂起状态，因为资源仍绑定到正在运行的pod。下面是spark submit命令：
/spark-2.4.4-bin-hadoop2.7/bin/spark-submit --deploy-mode cluster --class com.Spark</em
浏览 12提问于2020-07-31得票数 2
我是运行火花在k8s上使用火花k8s操作符。我想运行一个火花流应用程序自动缩放。我已经想出了如何用以下方法慢慢扩展集群 "spark.dynamicAllocation.schedulerBacklogTimeout": "20"
星火应
浏览 8提问于2022-03-24得票数 2
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
