spark在yarn-cluster上面执行报错

在单机模式下执行成功的spark程序,在yarn上面就报错。异常信息如下:

 1 14/08/14 02:05:42 INFO DAGScheduler: Completed ResultTask(2, 0)
 2 14/08/14 02:05:42 INFO DAGScheduler: Stage 2 (saveAsTextFile at FileUtil.scala:114) finished in 0.179 s
 3 14/08/14 02:05:42 INFO SparkContext: Job finished: saveAsTextFile at FileUtil.scala:114, took 0.331739293 s
 4 14/08/14 02:05:42 INFO TaskSetManager: Finished TID 2 in 184 ms on localhost (progress: 1/1)
 5 14/08/14 02:05:42 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool 
 6 14/08/14 02:05:42 INFO ApplicationMaster: finishApplicationMaster with SUCCEEDED
 7 Exception in thread "main" java.lang.AssertionError: assertion failed
 8     at scala.Predef$.assert(Predef.scala:165)
 9     at org.apache.spark.deploy.yarn.ApplicationMaster.waitForSparkContextInitialized(ApplicationMaster.scala:222)
10     at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:111)
11     at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:469)
12     at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:53)
13     at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:52)
14     at java.security.AccessController.doPrivileged(Native Method)
15     at javax.security.auth.Subject.doAs(Subject.java:415)
16     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
17     at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:52)
18     at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:468)
19     at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
20 14/08/14 02:05:44 INFO ApplicationMaster: AppMaster received a signal.
21 14/08/14 02:05:44 INFO ApplicationMaster: Deleting staging directory .sparkStaging/application_1408004797389_0007

从日志上面分析,job执行成功了。但貌似是没有获取到yarn返回的结果信息。

debug后发现是下面的问题:

spark-submit --class org.andy.hadoop.ETL --master yarn-cluster  ../lib/rdbms-0.0.1-SNAPSHOT-jar-with-dependencies.jar /dest/ETL2

job以yarn-cluster形式执行,但代码中初始化的为:

1  var conf = new SparkConf().setAppName("testFilter").setMaster("local")
2  var sc = new SparkContext(conf)

以local的形式初始化的。所以接收不到yarn的返回结果。修改后:

1     var conf = new SparkConf().setAppName("testFilter").setMaster("yarn-cluster")
2     var sc = new SparkContext(conf)

执行成功!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

Spark常用的算子以及Scala函数总结

上海站 | 高性能计算之GPU CUDA培训 4月13-15日 ? 三天密集式学习 快速带你晋级 阅读全文 > 正文共11264个字,7张图,预计阅读时间28...

654120
来自专栏阮一峰的网络日志

函数式编程初探

诞生50多年之后,函数式编程(functional programming)开始获得越来越多的关注。 不仅最古老的函数式语言Lisp重获青春,而且新的函数式语言...

41560
来自专栏写代码的海盗

scala如何解决类型强转问题

scala如何解决类型强转问题   scala属于强类型语言,在指定变量类型时必须确定数据类型,即便scala拥有引以为傲的隐式推到,这某些场合也有些有心无力。...

39390
来自专栏字根中文校对软件

Scala 的数据库访问框架:Slick 3.0 移除了 session 相关的 API

Scala 的数据库访问框架:Slick 3.0 移除了 session 相关的 API Slick 3 对于 Slick 2 的改变相当于 Python 3 ...

405100
来自专栏奇点大数据

DeepMind 发布新架构:让AI 边玩游戏边强化学习

本文出自:雷锋网(leiphone-sz) 论文标题:IMPALA: Scalable Distributed Deep-RL with Importance ...

37450
来自专栏奇点大数据

Scala语言学习笔记一

Scala是一门小众的语言,但是作者因为工作原因要以Spark作为工作中的一个重心,而Spark采用了Scala语言编写,于是萌生了认真学习Scala的念头,在...

38240
来自专栏安恒信息

黑客声称他们能控制关键工业控制系统

混沌计算机通信会议SCADAStrangelove项目的安全研究人员声称,他们能完整控制能源、化学和交通系统使用的工业控制系统。研究人员发现了15...

31350
来自专栏ThoughtWorks

Scala中的语言特性是如何实现的?

image.png #思特沃克好声音# (图片:网络) 我们学东西不止要知其然,还要知其所以然。成都办公室的崔鹏飞在学Scala的时候,不止学习如何使用Scal...

32970
来自专栏ThoughtWorks

TW洞见 | 崔鹏飞:Scala中Stream的应用场景及其实现原理

假设一个场景 需要在50个随机数中找到前两个可以被3整除的数字。 听起来很简单,我们可以这样来写: ? 一个产生50个随机数的函数; 一个检查某数字是否能被3...

36840

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励