【Spark】常见的编译错误

文章目录

• 1 java.lang.ClassNotFoundException: xsbt.CompilerInterface
• 2 Unable to find: dev/checkstyle-suppressions.xml
• 3 Unable to find configuration file at location scalastyle-config.xml
• 4 Summary

1 java.lang.ClassNotFoundException: xsbt.CompilerInterface

改动了一下 Spark 的代码，重新编一个，因为有段时间没编了，本地环境可能有点问题，果不其然，报错了，java.lang.ClassNotFoundException: xsbt.CompilerInterface。 仔细看一下 maven 的编译日志，把下面 .sbt/ 目录下的问题件删除，让 Spark 的编译脚本重新去下载就好了。

2 Unable to find: dev/checkstyle-suppressions.xml

在 spark/resource-manager/kubernetes 下执行下面的命令，编译 spark_kubernetes 的模块报错，这个只要把对应的文件 copy 到上述的目录就可以。

build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests

3 Unable to find configuration file at location scalastyle-config.xml

在 spark/resource-manager/kubernetes 下执行下面的命令，编译 spark_kubernetes 的模块报错，这个只要把对应的文件 copy 到上述的目录就可以。

build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests

4 Summary

其实编译的问题主要集中在对 Maven，尤其是 plugin 功能的不熟悉，或者是环境很混乱，环境变量设置不合理等等，但是一般来说 spark 的编译脚本 make-distribution.sh，都可以把问题暴露出来，用户需要仔细去排查。