1回答
我的spark-submit命令： spark-submit --deploy-mode cluster --class spark_package.import_jar s3://test-system\", \"clusterid\": \"test\", \"clientCd\": \"1000\", \"processid\": \"1234\"} }"
浏览 18提问于2019-01-12得票数 0
回答已采纳
我使用Livy REST API提交Spark应用程序。我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Livy的python脚本提交spark应用程序时从参数存储中使用它。如何向/从参数存储中存储和获取(在python中获取相同的json) my_conf？
浏览 0提问于2020-02-21得票数 1
1回答
我有一个spark程序，需要传递一个配置文件作为主方法的参数。当前，当我以纱线集群模式提交作业时，我需要将配置文件放在所有的工作节点中，以便程序能够找到它。但是，我想把它放到HDFS路径中，但是会得到文件未找到的错误。下面是我使用的命令：--name StreamingApp \--class com.test.streaming.App-0.0
浏览 1提问于2021-12-28得票数 0
我正在运行一个fat jar文件(由sbt程序集生成)和火花提交。这是scala文件的主要内容：import antarctic.utils.Utils.withSpark\DataQuality.jar" "path\to\json\mongoDocs.json" "validations" "process-id-1" &
浏览 1提问于2020-07-02得票数 0
1回答
我也想知道是否有什么特殊的字符，我们不能用在参数的火花提交命令？那么，我们是否必须在集群上运行我们的其他程序(安装了spark的linux机器)才能运行我的spark程序？
浏览 2提问于2015-07-23得票数 1
1回答
我正在使用木星笔记本中的Pyspark，并试图为S3编写一个大型的拼花数据集。如何设置这个参数？
我发现的大多数解决方案都建议在使用火花提交时设置它。然而，我没有使用星火提交和运行它作为一个脚本从木星。编辑:我正在使用Spark魔术处理EMR后端，我认为需要在配置<
浏览 2提问于2018-06-29得票数 4
我已经提交了我在这里提到的spark作业，bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar没有提到--master参数或spark.master参数。而不是将作业提交到我3节点spark集群。但我想知道它在哪里提交作业，因为它在Running Applications中没有显示任何信息
浏览 7提问于2016-07-11得票数 4
回答已采纳
2回答
如何捕获火花提交作业的返回代码，我编写了一个shell脚本来传递参数，并与我的spark类一起运行spark提交，我使用下面的代码来捕获返回代码，但它不是working.Run spark是我的shell脚本中的一个函数，它使用spark类和参数运行spark提交。 exit ${ret_cod
浏览 2提问于2015-10-28得票数 2
回答已采纳
1回答
application/json" localhost:8998/batchessudo pyspark --packages com.datastax.spark:spark-cassandra-connector_2.10:2.0.10 --conf spark.cassandra.connection.host=myip
然而，无法通过火花提交连接。我试图传递这些参数，我的pyt
浏览 1提问于2019-05-20得票数 1
1回答
我通过AWSCLI向EMR提交了一个火花作业，EMR步骤和火花信任作为单独的json文件提供。由于某些原因，我的主类的名称作为不必要的命令行参数传递给我的Spark，从而导致作业失败。\ --configurations file://conf.json \
--steps file://steps.j
浏览 0提问于2017-06-09得票数 0
回答已采纳
，我可以让任务找到我想在Databricks中运行的笔记本- 'new_cluster': new_cluster, },但是，是否有一种方法可以告诉任务接受Python项目(或者是车轮文件的路径我希望创建一个流程，以便在我将更改推
浏览 4提问于2022-10-19得票数 1
2回答
我正在尝试使用S3A分区(或者目录，因为我只需要确认提交者是否按预期工作)。我遵循这个，它应该非常简单，但是我在解决上一个问题时遇到了新的问题val sourceDF = spark.range(0, 10000)在此之后，我将client 3.1.1.jar复制到spark/jars文件夹
浏览 0提问于2018-12-24得票数 5
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。我可以从集群节点上的shell中spark-submit该作业，例如：
spark-submit --class io.woolford.Main --master yarn-cluster hdfs:我还可以使用curl通过Livy提交命令。，只是去掉了--master yarn-cluster参数。乍一看，这似乎可以通过向J
浏览 1提问于2016-11-30得票数 2
2回答
我正在通过Curl提交livy (0.6.0)会话中的火花作业实际上，在使用以下curl命令运行此代码时：
curl -X POST -d '{"kind": "spark","files":["/config.json"],"jars":["/myjar.jar"],"
浏览 0提问于2019-09-02得票数 0
回答已采纳
1回答
我正在尝试执行一个pyspark，我需要在我的程序中使用一些名为args的程序。解决这个问题的任何想法
浏览 1提问于2020-07-20得票数 2
回答已采纳
我想存储Spark参数，如输入文件，输出文件到Java属性文件中，并将该文件传递到Spark驱动程序中。我正在使用spark-submit提交作业，但找不到传递属性文件的参数。你有什么建议吗？
浏览 0提问于2015-06-29得票数 23
回答已采纳
我试图远程运行以下程序：spark = SparkSession.builder.master("spark://<master-ip>:<master-port>").getOrCreate()这部分还不完全清楚。当我以简单的'people.<e
浏览 12提问于2022-11-29得票数 1
2回答
/spark_submit.sh ${SPARK_HOME}/bin/spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.historyServer.address=${hadoopconf-yarn.resourcemanager.hostname}:18080
我必须对输入参数运行操作，所以我检查每个参数并重新生成原始输入。我一个接一个地获得参数，通过访问
浏览 1提问于2018-05-17得票数 0
回答已采纳
我正在从EMR集群运行spark作业，该集群连接到EC2上的Cassandra <groupId>org.apache.spark</groupId> <artifactId>spark-cassandra-conne
浏览 0提问于2016-02-22得票数 0
使用以下内容作为请求的主体，触发带有命名参数的python应用程序的本地REST filename，通过火花提交成功地创建了驱动程序，但是执行失败的信息很少。是--文件名参数导致的吗？有什么想法吗?如何获得更多关于失败的信息？'filename.json'" "appResource": "file:/opt/bitnami&
浏览 3提问于2022-01-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
