Spring Boot应用程序的Spark上下文问题

文章/答案/技术大牛

发布

1回答

如何修复SparkUI执行器，java.io.FileNotFoundException

java、spring-boot、apache-spark、java-8、spark-ui

我已经使用Apache Spark部署了Spring引导服务器，一切都很稳定。/BOOT-INF/lib/spark-core_2.11-2.2.0.jar。我查过inner jar了。这个问题只发生在Linux上，on Windows它工作正常。2019-04-23 07:01:24,038 WARN [org.spark_project.jetty.servlet.ServletHandler] [SparkUI-36] - org.spark

浏览 36提问于2019-04-23得票数 4

回答已采纳

1回答

在META/ spring* .工厂中缺少spring自动配置类*

java、spring、maven、apache-spark

我正在尝试创建基于spring的应用程序，但是在构建之后，我在初始化spring上下文-> No auto configuration classes found in META-INF/spring.factories我在我的应用程序中大量使用spark，我被迫使用maven-assembly-plugin来打包我的jar (否则我无法运行spark作业)。我的主

浏览 6提问于2017-04-24得票数 6

回答已采纳

1回答

无法向Kafka发送Spark数据帧(java.lang.ClassNotFoundException:找不到数据源:kafka)

scala、apache-spark、gradle、apache-kafka、spark-structured-streaming

我在使用Spark data frame向Kafka推送数据时遇到了问题。 }apply plugin: 'java':spring-<em

浏览 13提问于2018-09-06得票数 0

1回答

使用Spark* Submit执行Spring *Boot应用程序时的ClassNotFoundException

apache-spark、spring-boot

我正在尝试使用spark-submit执行我的Spring Boot示例应用程序，但它抛出了ClassNotFoundException。: org.springframework.boot.SpringApplication <parent> <groupId>org.springframework.boot</groupId>

浏览 0提问于2018-01-25得票数 0

1回答

java、spring-boot、apache-spark

我使用Apache Spark编写了一个Spring启动应用程序。我没有在我的程序中使用多个上下文，下面是代码： public Set<Customer> retrieveCustomers(String a) { .setMaster("loca

浏览 25提问于2019-07-01得票数 1

1回答

spring boot应用程序ClassNotFoundException FlatMapFunction实现

apache-spark

我正在向spark 2集群提交一个spring boot应用程序，该集群从配置单元读取一些数据，使用FlatMapFunction进行转换，然后将其写入配置单元。如果不使用Spring Boot，代码可以正常工作。当我将项目转换为Spring Boot时，使用'spring-boot-maven-plugin'，创建Spark会话作为@Configuration类，并将其注入到主

浏览 23提问于2019-09-11得票数 1

1回答

在EMR中将spring* active profile传递给Spark App*

spring-boot、apache-spark、amazon-emr

我已经开发了一个Spark App，它使用Spring Boot，并且Spark Job被提交到EMR集群，一个基于事件的EMR集群。如果Spark应用程序不是Spring Boot应用程序，这将按预期工作。使用Spring Boot应用程序，我们需要改变构建uber JAR文件的方式。无论我们何时提交职位，spring act

浏览 3提问于2020-02-19得票数 0

3回答

突然得到"LoggerFactory不是一个Logback LoggerContext，但是Logback在类路径上。“却没能运行

spring-boot、gradle

我使用gradle和latest.release到处乱交，但是，最近我的Spring应用程序停止了从命令行运行。当我运行gradle clean bootRun的时候.线程"main“java.lang.IllegalArgumentException中的异常: LoggerFactory不是Logback LoggerContext，但Logback在类路径上。configurations.all { exclude group: 'org.springframework.<

浏览 0提问于2018-06-12得票数 5

1回答

BeanCreationException:在Spark-Submit上创建名为'defaultValidator‘的bean时出错

spring-boot、apache-spark、apache-spark-sql、spark-submit、bootrun

使用spring boot创建了spark结构的流媒体应用程序。bootRun运行良好，但在使用"spark-submit“部署相同的jar时，给出了以下错误： org.springframework.beans.factory.BeanCreationExceptioncompile("org.springframework.boot:spring-boot-starter-security&q

浏览 1提问于2018-09-23得票数 0

1回答

使用Spark执行Spring Boot应用程序

spring、apache-spark、spring-boot

我是Apache Spark的新手。我正在尝试使用Spark执行简单的spring boot应用程序，但是我得到了异常。by: java.lang.ClassNotFoundException: org.springframework.boot.SpringApplication <groupId>org.springframework.<em

浏览 5提问于2018-01-23得票数 1

回答已采纳

2回答

PCF中的Spring* boot应用程序-线程"main“java.lang.NoClassDefFoundError中的异常: org/springframework/boot/SpringApplication*

spring-boot、spring-tool-suite、cloud-foundry

我正在PCF中部署一个REST应用程序。应用程序是在spring tool suite (STS) IDE中使用Spring boot开发的。我已经添加了云铸造插件，并将应用程序从STS添加到PCF。我在互联网上尝试了所有可用的选项，但最终还是出现了以下错误主线程java.lang.NoClassDefFoundError异常: org/springframework/boot/SpringApplic

浏览 0提问于2016-06-09得票数 0

2回答

运行Spring的.class而不是.jar文件

java、spring

我有一个用maven构建的Java Spring应用程序，生成了一个.jar文件和.class文件。 import org.springframework.boot.SpringA

浏览 21提问于2017-12-25得票数 0

1回答

EJB如何使用spring* boot bean？*

spring-boot、glassfish-3

使用我们在中找到的想法： EJB如何访问spring引导上下文？boot application context ApplicationContext applicationContext; @SuppressWarnings问题是:应用程

浏览 1提问于2015-08-31得票数 5

1回答

无法使用application.properties设置值

java、spring、spring-boot

我正在尝试一个非常简单的代码来从application.properties注入一个值。设置的值是属性名称。代码有什么问题？

浏览 15提问于2019-05-19得票数 0

1回答

Spring -火花:jars/依赖项之间的冲突

java、apache-spark、jar、dependencies、spring-boot-maven-plugin

我有一个Spring应用程序(内置于maven)，我用它连接到我的星体集群(4个工作人员和1个主服务器)和我的cassandra集群(4个节点)。应用程序启动，工作人员与主程序通信，cassandra集群也在运行。然而，当我通过我的web应用程序的界面进行PCA(spark )或任何其他计算(集群、pearson、spearman)时，我会得到以下错误： scala.collection.immutable.List的</em

浏览 2提问于2019-09-19得票数 1

回答已采纳

1回答

启用kerberos在纱线集群上启动火花/弹簧启动作业

java、spring-boot、apache-spark、hadoop-yarn、kerberos

我想使用spring引导，并在一个具有kerberos启用功能的Yarn集群中一起火花。(我是短跑新手)I不能使用submit，应用程序是以这样的方式启动的：我用spring-boot-maven-plugin.构建jar // business logic here writeC

浏览 4提问于2020-06-24得票数 0

8回答

无法从单元测试加载ApplicationContext : FileNotFound

spring、junit、applicationcontext

我正在创建一个Maven Spring项目，其中包括MVC、数据和安全性。我的Spring applicationContext-*.xml文件位于\src\main\resources\spring\@RunWith(SpringJUnit4ClassRunner.class) "classpath:<e

浏览 481提问于2014-07-16得票数 40

回答已采纳

1回答

java.lang.ClassNotFoundException: org.spark_project.guava.collect.MapMaker

java、maven、apache-spark、spring-boot、guava

我正在尝试将apache spark与spring-boot cassandra项目集成。我检查了maven依赖项，mapmaker文件位于'org/spark_project/guava/collect/‘内的spark-network-common_2.11.jar中。下面是我正在使用的pom文件依赖项： <dependency> <

浏览 0提问于2018-06-07得票数 0

1回答

多tomcats中的Spring应用程序上下文

spring、tomcat8

如果在不同的tomcats中有多个web应用程序，如何为所有tomcats配置相同的应用程序上下文

浏览 5提问于2017-07-19得票数 1

3回答

无法将Spring应用程序提交给Spark集群

java、jar、apache-spark、spring-boot

我已经用Spring开发了一个web应用程序，它使用Apache从不同的数据源(如Oracle)查询数据。我已经成功地生成了一个uber jar，它包含了我正在使用的所有依赖项和子项目，但是Spark似乎不喜欢Spring应用程序。(SparkSubmit.scala) 使用spark的默认log4j配置文件: org/apache/spark/log4j-defaults.proper

浏览 4提问于2015-07-16得票数 8

回答已采纳

点击加载更多

如何修复SparkUI执行器，java.io.FileNotFoundException

在META/ spring* .工厂中缺少spring自动配置类*

无法向Kafka发送Spark数据帧(java.lang.ClassNotFoundException:找不到数据源:kafka)

使用Spark* Submit执行Spring *Boot应用程序时的ClassNotFoundException