intellij的错误执行火花

文章/答案/技术大牛

发布

1回答

scala、maven、apache-spark、intellij-idea

当我尝试用我的intellij运行spark时。.main(BatchT.scala:15)我使用spark 1.6，并创建了一个支持scala 2.12.04的模块

浏览 6提问于2018-02-05得票数 0

回答已采纳

1回答

引起的:编译器镜像中的scala.reflect.internal.MissingRequirementError:对象java.lang.Object未找到

apache-spark、azure-databricks

每当我试图执行任何命令(例如，%fs rm -r /mnt/driver/jars/)，在Databricks Community上的社区版上，我都会得到以下错误：由: scala.reflect.internal.Missi

浏览 8提问于2020-07-04得票数 0

1回答

IntelliJ中的scala火花笔记本

scala、apache-spark、intellij-idea、jupyter-notebook

p 9001:9001 andypetrella/spark-notebook:0.7.0-scala-2.11.8-spark-2.1.0-hadoop-2.7.3我还看到IntelliJ有一个Scala工作表。使用它的，IntelliJ对添加的新行进行增量计算，但如果

浏览 1提问于2017-06-28得票数 5

1回答

无法解析星火中的符号sqlcontext

scala、apache-spark、intellij-idea

我的火花版本是火花版本: 2.3.2。进口时我收到错误：无法解析符号sqlcontext请分享你的想法。

浏览 0提问于2018-11-23得票数 0

回答已采纳

1回答

将星火1.6.X Parquet读入火花2.X的警告

apache-spark、parquet

buildReader$1.apply(ParquetFileFormat.scala:343)我正在运行2.1.0版本，并且有很多这样的警告除了将日志记录级别更改为错误之外，还有什么方法可以抑制这些错误吗？我从PR构建了代码，它确实成功地读取了数据。我尝试过做df.count()，现在我被这样的警告蜂拥而至(它们只是不停地在终端中

浏览 13提问于2017-02-18得票数 4

回答已采纳

1回答

从Eclipse调试Apache集群应用程序

java、eclipse、apache-spark、distributed、remote-debugging

我试图在集群/分布式环境中调试运行在eclipse上的Spark应用程序，但无法成功。应用程序是基于java的，我正在通过Eclipse运行它。只通过Java为主/工作人员提供触发配置。虽然我可以在驱动程序端调试代码，但是随着代码流在Spark中的移动(即调用.map(..))，调试器不会停止。因为该代码运行在Workers中。并在Debug-&g

浏览 4提问于2015-06-24得票数 1

回答已采纳

1回答

将Spark源代码导入intellij，生成错误: not :键入SparkFlumeProtocol和EventBatch

maven、intellij-idea、build、compiler-errors、apache-spark

IntelliJ：14.1.4我正在将Spark源代码导入到IntelliJ中，并在上执行以下步骤。我很确定这是一个解决问题，因为所有其他类都已成功解决。也许我没有正确地使用IntelliJ？

浏览 4提问于2015-10-23得票数 5

回答已采纳

1回答

星星之火-mllib:源代码中的“重新分配到val”错误

apache-spark、apache-spark-mllib

我正在使用IDEA SBT项目来测试火花-mllib代码。spark-core" % "1.2.0",) 有人能

浏览 3提问于2015-06-15得票数 0

回答已采纳

1回答

如何从IntelliJ (或其他IDE)运行火花测试

scala、apache-spark、intellij-idea、gradle、kerberos

我正在尝试为一些火花代码创建一个测试。当获取SparkSession对象时，以下代码失败。注意:当从cli: gradle my_module:build运行时，测试运行良好。def myTest(): Unit = { ...错误Caused by: KrbException: Cannot locate default realm 我的设置: IntelliJ<

浏览 2提问于2017-04-13得票数 0

1回答

使用星火开发的最佳实践

apache-spark、apache-hadoop、scala

我正在寻找任何技巧和最佳实践如何开发应用程序使用火花。目前，我可以访问集群，在边缘节点上使用Spark2.1.0的数据和版本，在本地机器上使用IntelliJ。我想知道最好的方法是开发一个应用程序来运行集群中的数据。我要考虑的事情如下：我可以在边缘节点上运行火花壳，但是它对数据的探索和开发并不是很好。如何最好地弥合数据与

浏览 0提问于2018-02-09得票数 2

回答已采纳

1回答

Apache依赖发布和开发应用程序

java、maven、apache-spark

我必须遵循教程来使用maven为我的Apache应用程序创建一个uber jar。此时，我不得不从pom中删除provided标记。仅在构建发布应用程序时，我如何才能提供火花依赖？我使用Intellij作为IDE来开发应用程序。

浏览 1提问于2016-09-30得票数 6

回答已采纳

2回答

错误。对象apache不是包org的成员。

scala、intellij-idea、apache-spark

我正在编译scala应用程序，我在标题中发现了输入的错误。Scala版本: scala 2.11.8火花版本: Spark 1.6.1 Intellij: 2016 1.3将:=命名为“简单项目”scalaVersion := "2.11.8“有可能scala

浏览 8提问于2016-06-29得票数 2

回答已采纳

1回答

java.lang.IllegalStateException:找不到任何构建目录

java、debugging、intellij-idea、apache-spark、apache-spark-standalone

我想在Intellij运行火花主和工作人员。我已经成功地启动了火花大师和工作人员。工人也是连接到主人没有任何问题。我可以通过查看日志和激发web来确认这一点。目前，我试图在这个设置上运行火花壳，但是当它试图掌握时，我在主程序上得到了一些错误消息，在工作人员上得到了一些IlligalStateException错误消息。) 16/09/21 17:24:10 INFO Worker: Successfully registered with master spark:&

浏览 0提问于2016-09-21得票数 3

回答已采纳

1回答

使用IntelliJ* IDEA失败提交hdinsight火花作业*

azure、apache-spark、intellij-idea、azure-hdinsight

当我使用IntelliJ IDEA社区提交hdinsight火花作业时Failed to submit application to spark cluster.

浏览 5提问于2017-06-14得票数 0

回答已采纳

3回答

如何使用Intellij与Apache一起工作？

scala、intellij-idea、apache-spark、scala-2.10、apache-spark-1.5

我想知道使用Intellij处理Apache的最佳方法是什么？(特别适用于Scala编程语言)谢谢你的回答

浏览 6提问于2015-10-02得票数 4

回答已采纳

8回答

如何有效地处理SBT、Spark和“提供”的依赖关系？

intellij-idea、apache-spark、sbt、sbt-assembly

事情是这样的： libraryDependencies，也就是说，我不能在IntelliJ理念中运行应用程序，因为

浏览 8提问于2016-04-05得票数 42

3回答

在Smark-1.0中实现kafka消费者

intellij-idea、apache-spark、apache-kafka、spark-streaming

我需要实现卡夫卡消费者在火花流的火花1.0。我写过卡夫卡制作人。有谁能帮我写一个火花接收器来提取卡夫卡的信息吗？另外，我能知道如何在Intellij IDEA中运行kafka星火流项目吗？

浏览 1提问于2014-09-10得票数 1

回答已采纳

1回答

本地主机上丢失的执行器驱动程序:执行器心跳超时

apache-spark

我正在调试一个火花应用程序。是否可以禁用超时以避免在调试会话中引发崩溃，而不会产生不良影响？本地主机上丢失的执行器驱动程序:执行器心跳在129006 ms后超时

浏览 0提问于2019-08-01得票数 0

回答已采纳

10回答

java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

java、apache-spark

我用Java写了一个火花作业。当我提交职务时，它会出现以下错误： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

浏览 20提问于2017-07-31得票数 19

回答已采纳

1回答

在IntelliJ中运行火花放电单元测试

maven、intellij-idea、apache-spark

我有一份在IntelliJ开发的火花工作。它是通过maven构建的，测试通过了，我可以在本地运行该作业。但是，如果我试图通过IntelliJ运行这些测试，我将得到错误:scalac:错误的符号引用。SparkContext.class中的签名是指包根中不可用的术语akka。它可能在当前类路径中完全丢失，或者类路径上的版本可能与编译SparkContext.class时使用的版本

浏览 2提问于2016-03-18得票数 1

回答已采纳

点击加载更多