使用Scala在Apache Spark中读取MySQL时抛出NullPointerException

文章/答案/技术大牛

发布

1回答

scala、apache-spark、nullpointerexception、spark-jdbc

我试图从MySQL读取数据，但它抛出了NullPointerException。不确定是什么原因。(SparkSession.scala:115) at org.apache.spark.sql.SparkSession.read(SparkS

浏览 31提问于2019-07-04得票数 0

1回答

使用spark创建新的MySQL表

mysql、apache-spark、jdbc、apache-spark-sql、spark-dataframe

我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误： org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.cr

浏览 1提问于2018-03-12得票数 2

1回答

使用jdbcRDD运行本地Spark时出错

mysql、apache-spark、local

我正尝试在本地运行spark作业，以将mysql表内容(在本地机器中)读取到jdbcRDD。从网上，我收集了以下源代码，并自定义读取元素表和加载所有列。(RDD.scala:277)at org.apache.spark.rdd.MapPartitionsRD

浏览 0提问于2015-08-01得票数 0

1回答

线程“删除Spark本地目录”java.lang.NullPointerException异常

shell、hadoop、apache-spark、sparkr

我将输入文件指向本地意味着它工作正常，但是当我指向hdfs时意味着它抛出错误。Spark local dirs" java.lang.NullPointerExceptionat

浏览 3提问于2015-09-02得票数 0

1回答

作为参数传递的广播值中的NullPointer

apache-spark、apache-spark-sql

:)当一个变量被广播时，每个执行者都会收到它的一个副本。稍后，当在执行程序中执行的代码(例如map或foreach)中引用这个变量时，如果没有将驱动程序中设置的变量引用传递给它，执行器就不知道我们在说什么。我认为这很好地解释了我的问题是，我得到了一个nullPointerException，甚至很难，我把广播引用传递给执行者。

浏览 8提问于2020-05-05得票数 0

回答已采纳

1回答

Apache火花:从检查点恢复状态的NPE

hadoop、apache-spark、hbase、spark-streaming

我们正在构建简单的流应用程序，它使用HBase RDD与传入的DStream连接。它总是抛出NullPointerException。at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:120) at org.apache<

浏览 1提问于2017-02-16得票数 1

回答已采纳

3回答

Hadoop IOException登录失败

hadoop、authentication、configuration、java-8、ioexception

但是，我已经能够在我的服务器上成功地在集群模式下安装Hadoop2.7.3和Java7。一切都运行得很好。但是，当我尝试切换到Java 8并启动dfs时，出现了一个错误：Caused by: javax.security.auth.login.LoginException: java.lang.NullPointerException(U

浏览 1提问于2017-01-26得票数 17

2回答

从远程机器到MySql的JDBC连接

mysql、apache-spark、jdbc

我已经在Linux (在windows桌面)上安装了MySql，我正在尝试从运行在父windows操作系统上的Spark应用程序连接到MySql。在连接过程中，我遇到以下错误...Exception in thread "main" java.lang.NullPointerException at org.apache.spark.sql.execution.datasources.jdbc.J

浏览 0提问于2018-09-26得票数 0

1回答

如何将Spark与我的SQL数据库Scala连接

mysql、scala、apache-spark、apache-spark-sql

我想查询MySQL数据库，然后将一个表加载到Spark中。然后，我想使用SQL查询在表上应用一些过滤器。一旦过滤了结果，我想以JSON的形式返回结果。我们必须从一个独立的Scala应用程序中完成所有这些工作。有人能看看密码然后告诉我该怎么做吗。- Error initializing SparkContext. a

浏览 0提问于2019-08-19得票数 0

回答已采纳

1回答

有效载荷为空时卡夫卡的火花批次读取失败

scala、apache-spark、apache-kafka

我有一个火花批处理管道读取数据从卡夫卡与自定义反序列化。时，该管道在null中失败。:62) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:55)

浏览 8提问于2022-06-15得票数 1

回答已采纳

1回答

当Spark通过JDBC读取RDBMS时，是否存在参数分区？

apache-spark、spark-jdbc

(JDBCRDD.scala:272) at org.apache.spark.rdd.RDD.iteratororg.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324) at org.apache</e

浏览 3提问于2019-10-16得票数 0

回答已采纳

2回答

从mysql读取火花外壳中的数据

mysql、apache-spark、integration

首先，我构建了scala应用程序，使用这一行代码从apache中的mysql表中读取数据。.option("password", "root")现在，我正尝试使用相同的方法从星火外壳中的mysql表中读取数据。scala> var df = spark.read.format

浏览 2提问于2017-10-02得票数 1

1回答

匹配UDF的Scala字符串

string、scala、apache-spark、user-defined-functions

:125) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:55) at org.apache.spark.scheduler.Task.run(Task.scala:1

浏览 6提问于2021-11-06得票数 0

回答已采纳

1回答

卡夫卡和.NET核火花任务中的错误

apache-spark、.net-core、apache-kafka

我正在尝试使用.Net Core3.1读取星火中卡夫卡的数据。我得到了NullPointerException，却找不到理由。也许有人遇到了这个错误，并找到了解决方案？ at org.apache

浏览 10提问于2022-01-09得票数 0

2回答

未找到JDBC驱动程序-从Spark提交到YARN时

apache-spark、hadoop-yarn、apache-spark-sql

尝试从DB表中读取所有行，并将相同的行写入另一个空的目标表。因此，当我在主节点上发出以下命令时，它会按预期工作-上面的命令非常适合于代码，它使用带有--jars选项的JDBC驱动程序从MySQL中的表中读取所有行:625) at org.apache</e

浏览 0提问于2015-10-13得票数 3

2回答

Scala和Spark UDF函数

scala、apache-spark、apache-spark-sql、apache-zeppelin

我创建了一个简单的UDF来转换或提取spark中temptabl中的时间字段的一些值。我注册了该函数，但是当我使用sql调用该函数时，它抛出了一个NullPointerException。SQL的情况下测试函数--这是可行的在Zeppelin中使用SQL测试函数失败。:652) at org.apache.spark</em

浏览 14提问于2016-07-28得票数 11

回答已采纳

1回答

SingleStore火花连接器:读/写操作时NULLPointer异常

apache-spark、singlestore

但是在本地从Development执行时抛出NULLPointer异常。(DefaultSource.scala:57)at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.<em

浏览 5提问于2022-04-13得票数 0

2回答

EMR 5.28无法在s3上加载拼图文件

apache-spark、apache-spark-sql、amazon-emr、parquet

在EMR集群5.28.0上，从s3读取拼图文件失败，出现以下异常，而在EMR 5.18.0上，同样可以正常工作。下面是EMR 5.28.0上的堆栈跟踪。(ShuffleMapTask.scala:55) at org.apache.spark.executor.Executor有没有人在EMR 5.28.0中遇

浏览 0提问于2019-12-08得票数 3

3回答

星星之交命令，包括mysql连接器

scala、apache-spark、jdbc、apache-spark-sql

我有一个scala对象文件，它在内部查询mysql表，进行连接并将数据写入s3，在本地测试我的代码--运行非常好。但是，当我将其提交到集群时，它会抛出以下错误：线程"main“中的异常: java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$2.apply(J

浏览 6提问于2016-12-14得票数 0

1回答

用于火花作业的Oozie外壳动作抛出NullPointerException

apache-spark、hadoop-yarn、oozie

我有一个shell脚本，其中包含使用oozie操作运行的星火提交命令。我们非常感谢你的帮助。在NullPointerException下面抛出职务： at scala.collection.mutable.ArrayOpsat

浏览 5提问于2018-12-04得票数 2

回答已采纳

点击加载更多