腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1905)
视频
沙龙
1
回答
如
何在
集群
模式
下
运行
spark-submit
命令
时
覆盖
spark
jars
?(
okhttp3
)
maven
、
apache-spark
、
hdfs
、
dependency-management
、
spark-submit
因此,我尝试显式地给出我的jar来
覆盖
它。当我尝试在client
模式
下
运行
spark
submit
命令
时
,它会拾取我提供的显式jar,但是当我尝试在cluster
模式
下
运行
相同的jar
时
,这无法
覆盖
工作节点上的jar,并且执行器使用相同的
Spark
我的jar是一个很大的jar,但是
spark
jar在某种程度上比同样的jar更重要。如果我可以删除
浏览 51
提问于2020-04-11
得票数 1
1
回答
如何使用JDBC从Oracle读取数据集?
windows
、
scala
、
apache-spark
、
jdbc
、
apache-spark-sql
当使用jdbc驱动程序连接到例如甲骨文
时
,什么是真正执行的?1:我已经启动了一个火花主程序,
如
像这样的工人和火花壳
spark
-shell --master
spark
浏览 1
提问于2017-07-14
得票数 1
回答已采纳
1
回答
在Hadoop上使用
Spark
运行
Scala程序
scala
、
hadoop
、
apache-spark
、
google-compute-engine
我用eclipse创建了scala文件,在我用sbt和sbt assembly.After编译和创建了一个jar之后,我在本地用.jar
运行
了
Spark
,它可以正常
运行
。现在我想试着在hadoop上使用
Spark
运行
这个程序,我有一台主机和两台工作机。我必须更改代码吗?我对主机的shell执行什么
命令
?我创建了一个存储桶,并将文本文件放入hadoop中 import scala.io.Source import org.apache.
spark
.
浏览 1
提问于2015-06-10
得票数 0
2
回答
如何向成簇
模式
下
的纱线提交火花申请?
apache-spark
、
hadoop-yarn
我已经创建了一个火花WordCount应用程序,我在本地
模式
下
使用
spark-submit
命令
在shell中
运行
该应用程序。当我尝试在纱线上以cluster
模式
运行
它
时
,使用以下
命令
:它似乎没有
运行
,并将状态显示为: ap
浏览 2
提问于2016-12-14
得票数 2
1
回答
submit在纱线
集群
模式
下
截断参数
scala
、
apache-spark
、
hadoop-yarn
我正在使用以下
命令
在
集群
部署
模式
下在纱线
集群
上
运行
spark
应用程序此
命令
没有将整个参数
浏览 2
提问于2021-11-10
得票数 0
回答已采纳
1
回答
如何使用jar
运行
Spark
Java示例
java
、
apache-spark
我正在尝试使用jar
运行
Spark
Java示例。仅对于sparkPi示例,可以使用该
命令
。如何使用jar在
spark
中
运行
其他Java示例,
如
HdfsLR、Logquery、Pagerank、Statustrackerdemo、javaTC。
浏览 1
提问于2015-06-12
得票数 0
2
回答
如
何在
集群
模式
下
给予依赖的
jars
以激发提交
apache-spark
、
spark-streaming
我正在使用
集群
模式
运行
spark
进行部署。dse
spark-submit
-v --conf "
spark
.serializer=org.apache.
spark
.serializer.KryoSerializer" \上述
命令
在客户端
模式
下
运行
良好。但是,当我在
集群
模式
中使用它
时<
浏览 2
提问于2015-12-14
得票数 4
回答已采纳
1
回答
Kinesis流读取记录:在独立
集群
中
运行
java
、
apache-spark
、
spark-streaming
、
amazon-kinesis
当我以火花本地
模式
运行
我的应用程序时,它能够接收记录,但是当我在独立
集群
中
运行
相同的应用程序时,它不会从动态流中读取记录。我使用了submit
命令
来
运行
应用程序:
spark-submit
--class com.test.Main --master local[3] --
jars
/test/test-saprk-app.jar独立
集群
模式
:
spark-s
浏览 0
提问于2019-03-18
得票数 0
1
回答
在
spark
提交中
覆盖
spark
的库
java
、
scala
、
hadoop
、
apache-spark
我们的应用程序的hadoop
集群
安装了
Spark
1.5。但是由于特定的需求,我们使用2.0.2版本开发了
spark
job。当我向yarn提交作业
时
,我使用--
jars
命令
覆盖
集群
中的
spark
库。$Builder.config(SparkSession.scala:713) at org.apache.
spark
.sql.SparkSession$Builder.appName(SparkSession.s
浏览 3
提问于2016-12-16
得票数 2
1
回答
在不同的
模式
和不同的
集群
管理器中,Smart-submit.sh是如何工作的?
apache-spark
、
cluster-computing
在Apache中,Smart-submit.sh如
何在
不同的
模式
和不同的
集群
管理器中工作?具体地说: 在程序员看来
浏览 1
提问于2020-03-14
得票数 3
1
回答
EMR ClassNotFoundException java中的
Spark
提交
java
、
apache-spark
、
amazon-emr
然后,我将这个jar发送到AWS,或者作为一个
spark-submit
或java -jar可执行文件
运行
,但这是不起作用的。这是我jar -tf <jar name>
时
的jar结构META-INF/MANIFEST.MForg/springframework/BOOT-INF/lib/derby-10.14.1.0.jar BOOT-INF/lib/
浏览 0
提问于2019-04-18
得票数 2
1
回答
添加到火花作业中的
jars
路径-火花-提交
apache-spark
、
spark-submit
我正在使用星火2.1 (BTW)在一个纱线
集群
。我正试图通过火花提交来做到这一点。其中一个有用的答案是: --driver-class-path additional1.jar当我掌握火花提交
命令
中“-- JAR”的文件
时
,上传的JAR的文件将被用于“--驱动类路径”中吗? 文
浏览 0
提问于2020-11-12
得票数 1
1
回答
如何使用火花-提交配置:
jars
,包:在
集群
模式
?
mongodb
、
maven
、
configuration
、
cluster-computing
、
pyspark
当在
集群
模式
下
使用submit
时
,
jars
和包配置让我感到困惑:对于
jars
,我可以将它们放在HDFS中,而不是本地目录中。但是对于包,因为它们使用Maven构建,用HDFS构建,所以不能工作。我的方式如下:
spark-submit
--
jars
hdfs:///mysql-connector-java-5.1.39-bin.jar --driver-class-path /home/liac&quo
浏览 8
提问于2016-08-12
得票数 1
回答已采纳
2
回答
运行
星火提交
时
出现FileNotFound错误
apache-spark
、
hadoop
、
pyspark
、
bitnami
我试图在我的Hadoop
集群
上
运行
spark-submit
命令
,这里是我的Hadoop
集群
的总结:
spark-submit
--class org.apache.
spark
.examples.SparkPi $
SPARK
_
浏览 4
提问于2022-07-21
得票数 1
回答已采纳
2
回答
EMR
Spark
群集
模式
配置单元问题
scala
、
apache-spark
、
hive
、
apache-spark-sql
、
emr
在
集群
模式
下
运行
scala
spark
2.1应用程序时出现问题。2.1.1, Ganglia 3.7.2, Zeppelin 在
集群
上有一个完美工作的.jar,可以通过client
模式
提交。当我尝试在cluster
模式
下
提交jar
时
,我收到一个异常: java.lang.IllegalArgumentException: Error while instantia
浏览 22
提问于2017-08-04
得票数 0
1
回答
spark
-提交作业日志跟踪
java
、
scala
、
apache-spark
、
bigdata
我在纱线
模式
下
运行
spark
作业。我使用
spark-submit
在Unix shell脚本中
运行
作业。我想在日志文件中保留Unix文件夹上的
spark-submit
命令
日志。我试过了
spark-submit
--master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory2G --
jars
$
浏览 0
提问于2019-07-02
得票数 1
2
回答
为什么代码中定义的应用程序名称不能在YARN UI中
运行
的应用程序中显示?
scala
、
apache-spark
、
apache-spark-sql
、
hortonworks-data-platform
这是我的
Spark
应用程序的相关部分,我在其中使用appName设置应用程序的名称。import org.apache.
spark
.sql.SparkSession val
spark
= SparkSession.getOrCreate() 我在
运行
应用程序
下
的Hadoop YARN
集群
中检查了
Spark
应用程序的名称,但没有看到我在代码中定义的名称。为什么?我通过--properties-file在属性文
浏览 2
提问于2017-05-20
得票数 0
1
回答
即使在
Spark
主进程被终止后,
spark
作业仍在
运行
apache-spark
、
spark-streaming
、
spark-dataframe
、
hadoop-yarn
我们正在
spark
集群
上工作,即使在
spark
"Master“进程被杀死后,
spark
作业(S)也能成功提交。
spark
-1.6.1-bin-without-hadoop/bin/
spark-submit
--class com.test.test --master yarn-client--部署
模式
客户端test.jar -incomingHost hos
浏览 27
提问于2017-01-30
得票数 1
1
回答
星火独立
集群
模式
下
的
spark
.driver.cores设置
apache-spark
我正在使用星火独立
集群
模式
,并使用"
spark
.driver.cores"来设置驱动程序的核心数目。但是,每次UI显示"0“
时
,如图中所示 甚至在代码中设置此值。如
何在
独立
集群
模式
下设置此值? 谢谢===UPDATE===,这里是submit
命令
。
spark-submit
--
jars
"file:///<path to jar>
浏览 0
提问于2019-05-21
得票数 2
1
回答
星星之交向驱动程序发送错误的java路径。
apache-spark
、
spark-submit
我正在向本地
运行
的容器式星火
集群
提交一个作业。火花版本3.2.1。我用的是比纳米的火花筒图像。 这项工作是用scala编写的。我创造了一个“胖罐子”。现在,当我以客户端
模式
(--deploy-mode client)将jar提交到
集群
(从本地容器到容器外部)
时
,在本地文件系统中提供jar的路径。工作成功完成。但是,当我切换到
集群
模式
(--deploy-mode cluster)并提供指向上传到s3的jar的链接
时
,作业就失败了。(不应该是因为相同的ja
浏览 1
提问于2022-09-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据技术,Spark任务调度原理 四种集群部署模式介绍
每天读一本:Spark快速大数据分析
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
如何在CDH集群上部署Python3运行环境及运行Python作业
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券