scala-sparkML学习笔记：Execption in thread "main" java.lang.

MachineLP

发布于 2019-08-31 19:22:51

3420

发布于 2019-08-31 19:22:51

文章被收录于专栏：小鹏的专栏

本文链接：https://blog.csdn.net/u014365862/article/details/100146667

在通过：

spark-2.4.3-bin-hadoop2.7/bin/spark-submit  --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0.jar /tmp/rd/lp/iris.data /***/scala_workSpace/test/nativeModel /tmp/rd/lp/pipelineModel
 提交任务，进行xgboost训练中会出现这个错误，有可能是因为jar冲突。（我就是，调试了两天）

因为spark jars中有xgboost4j-0.72.jar和xgboost4j-spark-0.72.jar，而我在spark-submit时的xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar中含有xgboost4j-0.90和xgboost4j-spark-0.90造成两个包中的XGBoostClassifer冲突。