在kubernetes上运行Spark时出现错误"java.lang.UnsatisfiedLinkError:__strncpy_chk“

文章/答案/技术大牛

发布

1回答

apache-spark、kubernetes、bigdl

我正在尝试以集群模式在kubernetes上的Spark上运行DL作业，并得到错误java.lang.UnsatisfiedLinkError:__strncpy_chk: symbol not found这是完整的错误堆栈。Exception in thread "main" java.lang.UnsatisfiedLinkError: /tmp/dl

浏览 54提问于2020-09-03得票数 0

1回答

在k8的问题上点燃装罐

apache-spark、kubernetes

我正试图在kubernetes上运行一个示例星星之火应用程序(在星火示例jar中提供)，并试图理解其行为。在这个过程中，我做了以下工作， local:&

浏览 2提问于2019-03-29得票数 1

回答已采纳

1回答

集群上的星星之火--不停地驱逐执行者:员工已经注册，拥有足够的资源。

apache-spark、kubernetes、pyspark、google-kubernetes-engine、spark-submit

我遵循了下面的说明，除了minicube之外，我使用了Google平台Kubernetes集群：(Spark2.3.2) .resources; check your cluster UI to ensure that workers are registered and have sufficient resourceskubectl scale deployment

浏览 0提问于2020-04-18得票数 0

1回答

Kubernetes上的Zeppelin Spark Master设置

apache-spark、kubernetes、apache-zeppelin

我正在配置Zeppelin 0.8在Kubernetes上运行，我的spark集群在相同的名称空间中。问题是，当我在spark解释器设置中提到spark master时，我的代码因错误而停止工作， java.lang.RuntimeException: SPARK_HOME is not specifiednon-local mode, if you specify it in z

浏览 15提问于2020-09-11得票数 1

回答已采纳

1回答

Kubernetes上Spark中的数据局部性

apache-spark、hadoop、kubernetes、hdfs

在Kubernetes上运行Spark时，我们需要HDFS还是S3？也许我对Spark on Kubernetes的理解存在根本性的错误。

浏览 18提问于2021-11-18得票数 2

1回答

处于运行状态的Kubernetes中的火花作业

apache-spark、kubernetes

我正在提交在本地运行的Kubernetes中的Spark作业(Docker桌面)。我能够提交作业，并在屏幕上看到它们的最终输出。~/spark-2.4.3-bin-hadoop2.7/bin/

浏览 3提问于2019-09-16得票数 4

回答已采纳

1回答

如何在SparkConf中初始化主服务器，以便在k8s集群上运行分布式？

docker、apache-spark、kubernetes、pyspark

我编写了一个简单的pyspark脚本，并希望将它部署到k8s集群上，但不知道如何正确地初始化火花上下文:需要将什么作为SparkConf().setMaster的主节点传递给SparkConf().setMaster(当我将主服务器设置为k8s://https://172.20.234.174:6443时，我得到了错误)我用来在k8s上部署的命令： --name=spark \

浏览 1提问于2020-02-04得票数 1

1回答

在kubernetes集群中使用spark_sklearn

apache-spark、kubernetes、scikit-learn、pyspark

在模型优化的过程中，我使用了sklearn中的经典GridSearchCV类。它当前使用来自运行api的主机(joblib库)的所有资源进行并行。我设法设置了一个spark集群，其中有一个master和2个worker。下面的代码运行与前面相同的任务，但是使用spark集群资源。使用spark集群中的所有可用资源，代码可以完美地工作。

浏览 0提问于2019-11-07得票数 0

2回答

spark over kubernetes vs yarn/hadoop生态系统

apache-spark、hadoop、kubernetes

我看到spark对kubernetes有很大的吸引力。它比在Hadoop上运行spark更好吗？这两种方法都运行在分布式方法中。有人能帮我理解一下在kubernetes上运行spark和在Hadoop生态系统上运行spark之间的区别/比较吗？谢谢

浏览 0提问于2018-06-26得票数 13

1回答

为什么火花执行者还没死

apache-spark、amazon-s3、kubernetes、airflow

这是我的设置：运行airflow的Kubernetes集群将spark作业提交给Kubernetes集群，作业运行良好，但是容器应该在完成任务后死亡，但它们仍然挂在那里。cluster.Dag上出现的气流设置是在气流对接器图像中烘焙的，因为不知何故，我无法将达格与s3同步。由于某些原因，cron无法运行。将spark作业提交给K8S集群，作业运行良好。，但现在它没有在执行和完成作

浏览 1提问于2019-09-17得票数 0

4回答

启动容器进程导致\"exec：\“driver\”：在$PATH\中找不到可执行文件“\n”

apache-spark、docker、spring-boot、dockerfile、minikube

我有基于spring的spark 2.3.0应用程序。我正在尝试在kubernetes(minikube)上做spark submit。我有一个带有docker和minikube的虚拟盒子在运行。--class com.yyy.Application --conf spark.executor.instances=1 --conf spark.kubernetes.container.imagelastState=Container

浏览 0提问于2018-04-11得票数 2

1回答

使用Python的星星之火K8s资源暂存服务器

python、apache-spark、pyspark、kubernetes

我一直在跟踪上的火花K8s ，Kubernetes v1.9.0和Minikubev0.25.0。///opt/spark/examples/src/main/python/pi.py 10bin/spark-submit/examples/jars/spark

浏览 0提问于2018-02-10得票数 2

回答已采纳

1回答

来自私人艺术家的K8s图像

apache-spark、kubernetes、containers、artifactory、kubernetes-secrets

我正在使用下面的清单来运行一些k8s作业，但是由于下面的错误，我无法成功提交作业。=repo:buildversion \ --conf spark.kubernetes.authenticate.driver.serviceAccountName--conf spark.kubernetes.au

浏览 14提问于2021-02-01得票数 0

2回答

如何将Spark应用程序jar文件部署到Kubernetes集群？

apache-spark、kubernetes

目前，我正试图在运行在IBM上的Kubernetes集群上部署一个星火示例jar。bin/spark-submit \ --deploy-mode cluster\ --name spark</e

浏览 0提问于2018-05-14得票数 7

回答已采纳

3回答

如何在库伯奈特斯上独立运行火种？

scala、apache-spark、kubernetes

我有一个Scala应用程序，它在独立模式下使用Spark2.1。应用程序将运行2小时并完成。它应该每月运行一次。我发现了几种结合Spark和Kubernetes的方法：大多数文档描述了如何在Kubernetes上运行Spark集群。在K

浏览 4提问于2017-06-26得票数 3

2回答

火花在Kubernetes上

apache-spark、kubernetes、pyspark

我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？

浏览 1提问于2020-07-29得票数 1

1回答

java.lang.ClassNotFoundException:尝试在齐柏林飞艇中运行spark作业时出现org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer

apache-zeppelin

1.总结问题我已经通过运行以下命令从源代码构建了zeppelin。mvn清理包-DskipTests -Pspark-2.3 -Pscala-2.11构建成功。在kubernetes集群上启动apache zeppelin，可以看到zeppelin-server启动得非常好。但是，当尝试运行spark notebook时，spark解释器pod进入完成/成功状态，在spark-preparter.log的

浏览 9提问于2020-03-06得票数 1

1回答

kubernetes(1.8.版)集群上的Rest API for Spark*2.3提交

apache-spark、kubernetes、aws-lambda

我在亚马逊网络服务上使用kubernetes集群来运行spark作业，我使用的是spark 2.3，现在我想从AWS lambda函数向k8s主机运行spark-submit，想知道在k8s主机上是否有REST接口来运行Spark submit？

浏览 1提问于2018-03-21得票数 1

2回答

在Kubernetes装载Hadoop-Azure

azure、apache-spark

在使用新的Kubernetes特性运行时，我试图让Apache加载Hadoop。无论我如何努力，Apache总是在尝试使用java.lang.classnotfoundexception: wabs//模式加载文件时出现以下错误://模式FROM spark:latestCOPY *.jar $SPARK_HOME/jars ENV SPARK_EX

浏览 8提问于2021-04-16得票数 0

回答已采纳

4回答

如何使用Kubernetes在Spark中设置临时存储

apache-spark、kubernetes

在Kubernetes集群中运行spark作业时，我们得到以下错误：spark提交选项如下--conf spar

浏览 343提问于2018-11-30得票数 6

点击加载更多