SPARK: java.lang.IllegalStateException:找不到任何构建目录

文章/答案/技术大牛

发布

1回答

java、scala、apache-spark、hadoop

主日志： C:\Users\Niels>"C:\Program Files\Java\jre1.8.0_271\bin\java" -cp "C:\spark/conf\;C:\spark\jars\*Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 20/11/01 02:48:47 INFO Master*"

浏览 82提问于2020-11-01得票数 0

1回答

java.lang.IllegalStateException:找不到任何构建目录

java、debugging、intellij-idea、apache-spark、apache-spark-standalone

工人也是连接到主人没有任何问题。我可以通过查看日志和激发web来确认这一点。但是，当我尝试在这个设置上运行任何应用程序时，问题就开始了。主日志(成功启动)16/09/21 16groups with modify permissions: Set() 16/09/21 17:26:09

浏览 0提问于2016-09-21得票数 3

回答已采纳

1回答

spark-submit在线程"main“java.lang.IllegalStateException中抛出异常:找不到任何构建目录

java、apache-spark、pyspark、spark-submit

Spark-submit命令： [root@d03db3cedc5a opt]# bash -x $SPARK_HOME/bin/spark-submit --master spark://analytics-seed=0 + exec /opt/spark/bin/spark-class org.apache.spark.deploy.SparkSubmit --master sp

浏览 147提问于2021-11-14得票数 1

4回答

如何在单机环境下运行Apache spark* Java程序*

apache-spark

我已经为spark写了一个java程序，但是我不能从命令行运行它。hadoopnod@hadoopnod:~/spark-1.2.1/bin$ .: org.apache.spark.examples.SimpleApp at org.apache.spark.deploy.

浏览 0提问于2015-02-19得票数 2

1回答

Jenkins构建失败，因为它在执行junit测试时正在查找logback.xml中定义的日志路径。

jenkins、junit4、logback

当我尝试对我的代码进行gradle构建以及Junit测试时，我在Jenkins上得到了以下错误：基本上，Jenkins正在尝试查找logback.xml中指定的目录，但它

浏览 0提问于2018-08-07得票数 1

回答已采纳

2回答

Spark History服务器未列出已完成的jars

apache-spark、logging、configuration、monitoring

我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer我在本地运行了spark作业，但历史服务器没有列出任何已完成的作业。我的<

浏览 2提问于2019-05-02得票数 1

3回答

SparkViewEngine是否可以与asp.net mvc Vs2010一起使用

visual-studio-2010、asp.net-mvc-2、spark-view-engine

如了解火花视图引擎使用system.web 2.0和vs2010 mvc项目使用system.web 4.0...我们需要做任何改变吗？动态视图编译失败。(0,0)：error CS1668: Warning as Error:在LIB环境变量中指定的搜索路径'c:\open road\INGRES\LIB‘无效--’系统找不到指定的路径。\SparkViewFactory.cs'.在项目中找不到该文件。正在查找目录'C:\Program Files\Microsoft Visual Stu

浏览 2提问于2010-09-16得票数 0

回答已采纳

3回答

星火上的蜂巢:缺少<火花-程序集..jar>*

hadoop、apache-spark、hive

我运行的是Hive 2.1.1、Spark2.1.0和Hadoop2.7.3。 .目录下找不到任何火花程序集jar文件(find .-name "spark-assembly*.jar"什么也不返回)。我没有将火花组装jar链接到HIVE_HOME/lib，而是尝试了export SPARK_HOME=/home/user/spark。如何构建/在哪里可以找到

浏览 7提问于2017-02-21得票数 3

回答已采纳

2回答

找不到哈希字符串为'android-10‘的目标

android、android-espresso

当我第一次尝试克隆项目并从命令行运行它时，我收到以下错误 java.lang.IllegalStateException: failed to find target with hash string

浏览 0提问于2016-07-19得票数 0

1回答

如何在Apache Spark中实现递归算法？

apache-spark、bigdata、apache-flink、data-pipeline

我有一个问题，我想在Spark中实现一个递归算法，并希望了解是否有任何建议可以在Spark中构建它，或者探索其他可能更适合的数据分析框架。例如：作业需要递归地列出目录结构/树，并处理节点，结合map/reduce模式将路径或文件组映射到派生数据中，递归地对这些派生数据进行分组/合并。构建一个在单个节点上运行的解决方案是很简单的(例如，spark master)，但假设目录结构非常大，具有O(十亿)个叶节点。对于使用

浏览 37提问于2021-06-24得票数 0

1回答

如何在pip安装后建立Pyspark？

python、pyspark、anaconda、conda

安装没有任何错误，我可以在本地Anaconda site-packages目录中找到pyspark目录。当我运行我的python脚本时，脚本中包含一些火花代码。我得到了错误：Failed to find Spark jars directory。在进行了一些研究之后，我发现我需要构建吡火花代码，因为它在使用pip时并不是预先构建的。我读过文档，但不清楚如何构建代码。为什么我的pyspark安装目录中没有构建目录(需

浏览 3提问于2017-12-12得票数 0

2回答

如何在Mac OS X上通过Homebrew安装Spark来安装Apache Toree？

apache-spark、apache-spark-2.0、apache-toree

Apache Toree正在寻找spark主目录(默认为"/usr/local/ spark "，但是当它由于spark已经通过Homebrew安装而找不到该目录时，它会抛出一个异常。jupyter toree install FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/spark

浏览 14提问于2017-02-23得票数 2

回答已采纳

0回答

在不依赖hadoop的情况下构建spark

hadoop、apache-spark

我找到了一些引用-Phadoop-provided标志来构建没有Hadoop库的spark，但是找不到一个很好的例子来说明如何使用它。如何从源代码构建spark，并确保它不会添加任何自己的hadoop依赖项。看起来，当我构建最新的spark时，它包含了一堆hadoop的东西，这与我的集群2.8.x版本冲突。

浏览 3提问于2017-06-11得票数 2

回答已采纳

4回答

通过com.databricks.spark.csv加载RStudio

rstudio、sparkr

/bin/sparkR --master local[7] --packages com.databricks:spark-csv_2.10:1.0.3flights<- read.df(sqlContext, "data/nycflights13.csv", "com.databricks.spark.csv", header="true") 不幸的是，当我通过SparkR (正确设置RStudio )启动SPARK

浏览 0提问于2015-06-16得票数 4

回答已采纳

1回答

pyspark ml模型的顶点ai自定义模型训练

apache-spark、pyspark、apache-spark-mllib、machine-learning-model、google-cloud-vertex-ai

是否可以使用VertexAI自定义容器模型构建来训练spark/pyspark ML库模型？我在vertex ai文档中找不到任何关于spark模型训练的参考。对于分布式处理模型构建，可用的选项只有PyTorch或TensorFlow。

浏览 30提问于2021-09-03得票数 0

2回答

spark-提交如何指定依赖库位于应用程序的jar中

apache-spark

我正在为Spark 2.1.0构建一个小的测试应用程序，在我的计算机上作为一个双工集群运行，并将依赖库打包到我的应用程序的jar文件中。在Spark提交应用程序jar文件中的库时，我如何告诉spark？否则我会在线程"main“java.lang.NoClassDefFoundError中得到异常。还是应该将依赖库复制到Spark？提前谢谢。

浏览 0提问于2017-02-24得票数 0

1回答

在spark中访问蜂巢表

hadoop、apache-spark、hive

我使用mvn -hive选项构建了spark 1.1.0单节点集群。我希望使用hivecontext在spark应用程序中访问此数据库中的表。但是hivecontext总是读取星火目录中创建的局部亚稳态。我复制了星星之火/conf目录中的hivesite.xml。我需要做任何其他配置吗？

浏览 5提问于2014-10-14得票数 3

1回答

Apache火花MySQL JavaRDD.foreachPartition -为什么我得到ClassNotFoundException

java、mysql、apache-spark、classnotfoundexception、apache-spark-sql

我想将每个分区的数据保存到MySQL数据库中。为此，我创建了实现VoidFunction<>的类： * private static final long serialVersionUID = -7039277486852158360L;

浏览 1提问于2015-05-06得票数 0

回答已采纳

2回答

使用Terraform为EMR上的Presto/Spark启用胶水目录的选项

terraform、amazon-emr、terraform-provider-aws

我想知道在EMR.Could上运行时，是否支持为Presto/Spark启用aws glue目录在文档中找不到任何东西。

浏览 29提问于2019-02-28得票数 0

回答已采纳

1回答

使sbt scala构建文件引入apache

scala、apache-spark、sbt

我的project目录下有一个scala构建文件，如下所示，但是导入失败了，解决这个问题的惯用方法是什么？scala构建文件仍然是推荐的构建，而不是build.sbt定义吗？官方文件没有提供任何见解。import sbt.Keys.commonDependencies: Seq[ModuleID] = Seq() &qu

浏览 0提问于2019-08-10得票数 0

回答已采纳

点击加载更多