scala-sparkML学习笔记:Execption in thread "main" java.lang.

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/u014365862/article/details/100146667

在通过:

spark-2.4.3-bin-hadoop2.7/bin/spark-submit  --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0.jar /tmp/rd/lp/iris.data /***/scala_workSpace/test/nativeModel /tmp/rd/lp/pipelineModel
 提交任务,进行xgboost训练中会出现这个错误,有可能是因为jar冲突。(我就是,调试了两天)

因为spark jars中有xgboost4j-0.72.jar和xgboost4j-spark-0.72.jar, 而我在spark-submit时的xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar中含有xgboost4j-0.90和xgboost4j-spark-0.90造成两个包中的XGBoostClassifer冲突。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏服务端技术杂谈

JVM下的Scala和Kotlin

在JVM生态下流行的语言有好几种,最出名的应该就是Scala和Kotlin了。最近准备除了Java本身之外在学习一种JVM生态下的语言,Scala和Kotlin...

21920
来自专栏Java技术栈

惊艳,Dubbo域名已改,也不再局限于Java!!

看这个新官网还真清新亮丽,对比之前的老官网,这次调整还真不少,我想我有必要给大家重新介绍一下 Dubbo, 结合这次的变更下面给大家总结一下。

9720
来自专栏有脑子的搬砖工

java获取当前学期

9120
来自专栏Java技术栈

Java 11 快要来了,编译 & 运行一个命令搞定!

在我们的认知里面,要运行一个 Java 源代码必须先编译,再运行,两步执行动作。而在未来的 Java 11 版本中,通过一个 java 命令就直接搞定了,如以下...

9230
来自专栏WD学习记录

springboot gradle 使用过程中遇到的问题小结(5)

1. @RequestMapping @PostMapping @GetMapping

13120
来自专栏WD学习记录

本地缓存和分布式缓存的比较 堆污染

分布式缓存一致性更好一点,本地缓存 每个实例都有自己的缓存,可能会存在不一致的情况。

18630
来自专栏A周立SpringCloud

漫漫优化路,总会错几步!记一次接口优化!

点击上方"IT牧场",选择"设为星标"技术干货每日送达!来源:www.cnblogs.com/cjsblog/p/10573215.html

7540
来自专栏WD学习记录

Objects类

equals(Object a, Object b),这里感觉和Object中的equals作用相同。

6720
来自专栏Java技术栈

为什么大公司还在用过时的技术?

本文出自一朋友给我的提问,于是博主呕心沥血给他花式洗脑了几个小时。忽然发现,应该还有许多朋友有同样的疑问。所以整理成文。

9310
来自专栏kk大数据

分布式弹性数据集(下)

文章概述:RDD的其他几个知识点,依赖关系(Dependencies)、检查点(Checkpoint)、存储级别(Storage Level)和迭代函数(Ite...

6120

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励