Spark中的NoClassDefFoundError提交
Spark中的NoClassDefFoundError提交
提问于 2016-02-08 19:19:38
我正在开发一个spark应用程序。我使用的是第三方jar。我将其添加到我的sbt文件中。编译成功
> libraryDependencies += "org.springframework.security" %
> "spring-security-web" % "3.0.7.RELEASE但是当我提交spark作业时
spark-submit --master yarn-client --class MyClass target/scala-2.10/my-app.jar它会失败，并显示以下错误：
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to
stage failure: Task 0 in stage 48.0 failed 1 times, most recent failure: Lost task 0.0 in stage 48.0 (TID 3216, localhost):
`java.lang.NoClassDefFoundError:` org/springframework/security/web/util/IpAddressMatcher我还尝试在spark-submit jar中显式传递jar
spark-submit --master yarn-client --jars third-party-jars/spring-security-web-3.0.7.RELEASE.jar --class MyClass target/scala-2.10/my-app.jar但随后它会失败，并显示以下错误：
java.lang.NoClassDefFoundError: org/springframework/util/StringUtils
at org.springframework.security.web.util.IpAddressMatcher.<init>(IpAddressMatcher.java:33)类似的错误，但发生在另一个类上。
对如何解决这个问题有什么建议吗？
谢谢
回答 1
Stack Overflow用户
发布于 2016-02-08 21:12:57
你也可以使用IntelijIDE。您不需要总是对其进行调整。你可以在这里下载Ubuntu版本。https://apps.ubuntu.com/cat/applications/intellij-idea-ce/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/35268397
复制相关文章
相似问题
腾讯云开发者
