专栏首页容器计算【Spark】常见的编译错误
原创

【Spark】常见的编译错误

文章目录

1 java.lang.ClassNotFoundException: xsbt.CompilerInterface

改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundException: xsbt.CompilerInterface。 仔细看一下 maven 的编译日志,把下面 .sbt/ 目录下的问题件删除,让 Spark 的编译脚本重新去下载就好了。

2 Unable to find: dev/checkstyle-suppressions.xml

在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。

build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests

3 Unable to find configuration file at location scalastyle-config.xml

在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。

build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests

4 Summary

其实编译的问题主要集中在对 Maven,尤其是 plugin 功能的不熟悉,或者是环境很混乱,环境变量设置不合理等等,但是一般来说 spark 的编译脚本 make-distribution.sh,都可以把问题暴露出来,用户需要仔细去排查。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Spark Operator】核数设置Cores/Cores Limit/Cores Request,你搞清楚没有?

    如果看 on k8s 部分的源码,你会发现 spark.kubernetes.driver.request.cores 没有设置,spark.driver.co...

    runzhliu
  • Flink job cluster on Kubernetes

    之前文章介绍了 Flink session cluster on Kubernetes,需要注意,这种部署方式,可以在同一个 Cluster 上多次提交 Fli...

    runzhliu
  • Spark-Submit 和 K8S Operation For Spark

    本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26。文章分为两部分,翻译也将分为两个部分。附上文章链接如下:

    runzhliu
  • Dubbo(五) Dubbo入门demo——helloworld

    前言 前面我已经介绍了dubbo的一些基本工具和知识,让大家简单的了解了下RPC框架和Dubbo。接下来就是重点了,Dubbo的helloworld项目。 ? ...

    生活创客
  • Windows环境 springboot+dubbo+zookerper 实现相互调用

    windows环境springboot+dubbo+zookerper实现相互调用

    斯文的程序
  • dubbo(提供者、消费者)基于java的实现

    1、安装好jdk、zookeeper以后可以尝试开发代码进行dubbo的学习和练习。

    别先生
  • IntelliJ IDEA(2019)Maven聚合工程实现dubbo入门案例

      maven和dubbo在现在来说都是非常火的技术,本文就来记录下IntelliJ IDEA中通过maven的聚合工程来实现dubbo的入门案例

    用户4919348
  • Dubbo入门-简易配置

    想看分布式的东西好久了,目前的公司用不到,只能自己去网上找相关的,看到最多的Dubbo,于是趁着今天有时间自己照着一些教程自己配置了个基础的demo,顺便放出来...

    汐楓
  • Dubbo配置方式详解

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是阿里巴巴 SOA 服务化治理方案的核心框架,每天为 2,000+ 个服...

    陈树义
  • 动态|99.80%!腾讯优图刷新人脸识别新高度

    AI科技评论消息,在国际权威人脸识别数据库LFW上,腾讯优图实验室在无限制条件下人脸验证测试(unrestricted labeled outside data...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券