首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在IntelliJ上建立火种,为火种做出贡献

在IntelliJ上建立火种,为火种做出贡献
EN

Stack Overflow用户
提问于 2016-06-18 14:34:55
回答 1查看 619关注 0票数 2

我有很多时间试图在我的本地机器上的Intellij上设置火花。

目标:运行SparkPi.scala时没有任何错误。

采取的步骤:

代码语言:javascript
运行
复制
git clone `https://github.com/apache/spark`
Import the project to Intellij as a Maven Project
build/mvn -DskipTests clean package
navigate to examples folder modify pom.xml (change occurrences of provided , test -> compile)
Open SparkPi.scala and add `.master("local[4]")` to Spark Session
Right click and run SparkPi

我面临的错误

代码语言:javascript
运行
复制
Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/MapMaker
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:271)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2257)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:822)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:814)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:814)
    at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:31)
    at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:483)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.MapMaker
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 13 more
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-06-18 15:23:17

您需要在Intellij下进行rebuild项目。可悲但真实: IJ无法简单地重用maven构建的基础设施。

但是,它确实使用了命令行mvn结构的一部分:您确实需要首先运行mvn

至于google MapMaker类:它意味着依赖关系没有被正确下载,而且不可用。这一问题应在全面重建后解决。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37898119

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档