腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(410)
视频
沙龙
1
回答
纱线簇模式上的Pyspark
、
、
有没有办法在不使用spark-submit脚本的情况下,以
yarn-cluster
模式运行pyspark脚本?我需要以这种方式使用它,因为我将把这段代码集成到django web应用程序中。当我尝试在
yarn-cluster
模式下运行任何脚本时,我得到以下错误: conf = (SparkConf() .setMaster(&q
浏览 1
提问于2015-07-10
得票数 8
回答已采纳
2
回答
火花-提交不使用纱线
、
、
、
但当我点燃-屈服这是试图连接到火花主,这是相信不需要时,运行的纱线
浏览 11
提问于2016-11-07
得票数 3
回答已采纳
1
回答
"SPARK-SUBMIT“中的部署模式
、
在SPARK-SUBMIT中,"yarn“、"
yarn-cluster
”、"yarn-client“部署模式有什么区别? --class org.apache.spark.examples.SparkPi \ --master
yarn-cluster
\ # can also
浏览 1
提问于2014-12-19
得票数 5
回答已采纳
2
回答
使用Livy执行Spark作业,使用`--master
yarn-cluster
`而不进行系统范围的更改
、
我可以从集群节点上的shell中spark-submit该作业,例如:请注意,--master
yarn-cluster
是访问jar所在的HDFS所必需的。spark-submit --class io.woolford.Main hdfs://hadoop01:8020/p
浏览 1
提问于2016-11-30
得票数 2
1
回答
将hbase-site.xml指定为spark-submit
、
、
我有一个spark作业(用Scala编写),它从另一个服务器上发现的HBase表中检索数据。为此,我首先创建如下所示的HBaseContext:val hBaseContext:HBaseContext = new HBaseContext(sparkContext, HBaseConfiguration.create())spark-submit --master=local[*] --executor-memory 4g --executor-cores 2 --num-executors 2 --j
浏览 0
提问于2016-09-14
得票数 5
1
回答
CDH-5.4.0、spark-on-yarn、cluster-mode和Java
、
、
、
setMaster("
yarn-cluster
").// "
yarn-cluster
" or "yarn-client"JavaSparkContextmockRecords.csv";System.out.println(textFile.count()); 如果我在
y
浏览 1
提问于2015-05-12
得票数 3
1
回答
提交spark应用程序作为从Eclipse和Spark上下文生成的纱线作业
、
使用spark-submit,我可以成功地将作业以:spark-submit --class <main class> --master
yarn-cluster
<jar>的形式提交到集群 我希望在IDE% "spark-yarn" % "1.5.1" % "provided"在我的app:val conf = new SparkConf().setAppName("xxx").setMaster("
yarn-cluster
")中,但
浏览 2
提问于2016-01-27
得票数 6
1
回答
如何在启动新作业之前了解spark作业是否已完成
我想通过yarn并行运行一组spark作业,然后等待它们全部完成,然后再启动另一组作业。我如何才能知道我的第一组作业何时完成?谢谢。
浏览 10
提问于2018-08-21
得票数 1
回答已采纳
1
回答
如何设置字符集在使用EsSparkSQL.esDF API读取火花的elasticsearch时
、
当我使用elasticsearch在Spark上读取elasticsearch的数据时,我遇到了字符集问题,因为星体集群不使用utf-8作为默认值。val sqlc = new SQLContext(new SparkContext(conf))
浏览 0
提问于2017-02-28
得票数 0
回答已采纳
1
回答
Spark客户端永远不会结束在纱线群集模式下运行
、
我们在集群的边缘节点上运行:结果是客户端进程的pid是12435。
浏览 2
提问于2016-12-09
得票数 1
2
回答
Spark使用Boto3提交Scala jar
、
、
、
当我在AWS控制台中手动启动EMR集群时,我在SSH进入我的集群后运行以下命令: 'Args': ['spark-submit', '--master
yarn-cluster
]
浏览 5
提问于2020-10-29
得票数 2
1
回答
使用Livy Rest请求提交的Spark字数统计作业进入Dead状态
、
、
我正在使用Livy运行一个spark字数统计程序(使用spark-submit在没有Livy的情况下运行它很好)。在使用Livy Rest请求提交作业时,它会返回作业的id,如下所示: curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmaser
浏览 1
提问于2017-03-29
得票数 0
1
回答
在spark中使用scala将预测结果保存到HDFS表中,在纱线集群模式下速度非常慢
、
、
、
、
我使用scala在spark中构建了一个机器学习项目,并使用spark-submit启动它,参数为"--master
yarn-cluster
“。计算步骤非常快,但它总是卡在写表的步骤上好几个小时。tmp_sbu_vadmtestdb.AntiCF_ClickFarming_predicted")spark-submit --class Ml_Learning --master
yarn-cluster
浏览 1
提问于2016-11-30
得票数 0
1
回答
在Scala中以sudo身份运行进程
, "|", "sudo", "-S", "-u", "web", "spark-submit", "--class", "com.abhi.Foo", "--master", "
yarn-cluster
| sudo -S -u web spark-submit --class com.abhi.Foo --master
yarn-cluster
Foo-asse
浏览 3
提问于2016-03-21
得票数 0
1
回答
Flink on EMR不能从"flink run“命令访问S3桶
、
、
我正在执行以下步骤:Main class : None Arguments : flink run -m
yarn-cluster
浏览 5
提问于2017-12-15
得票数 3
1
回答
EMR Spark在java main中工作,但不在java函数中工作
、
、
、
、
static void main(String[] args) throws Exception { SparkConf sparkConf = new SparkConf().setMaster("
yarn-cluster
浏览 8
提问于2017-07-28
得票数 2
回答已采纳
2
回答
Spark流到ElasticSearch
、
/IvanFernandez/b3a3e25397f8b402256bspark.examples.SparkToElasticSearchStreaming --master
yarn-cluster
/target/hbase-spark-playground-1.0-SNAPSHOT.jar
yarn-cluster
collection-name 我认为主要的问题是我在foreach转换中没有任何
浏览 6
提问于2014-10-16
得票数 2
2
回答
如何在提交申请时指定依赖jars
我正在使用以下脚本提交flink申请,flink run -m
yarn-cluster
-c com.my.flink.learningflink.FlinkToMySQL -yn 4 -ys 1
浏览 0
提问于2019-10-11
得票数 1
1
回答
如何以编程方式知道应用程序是在客户端还是集群部署模式下使用纱线运行?
、
、
例如,它是在
yarn-cluster
还是yarn-client模式下运行?
浏览 1
提问于2017-05-27
得票数 0
回答已采纳
1
回答
从纱线集束模式提交抛花错误
spark-submit\ --class com.mdm.InitProcess \ --master
yarn-cluster
浏览 0
提问于2017-04-05
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Zzreal的大数据笔记-SparkDay03
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
Spark 之访问 Hive 空指针异常
大数据基础:Spark工作原理及基础概念
Kafka你真的了解吗?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券