我得到一个错误消息：Serialization stack: - field (class: ro.mfl.employees.Load
浏览 12提问于2016-09-03得票数 3
回答已采纳
我试图在JDBC中使用预置语句。其结果是ResultSet对象。我想把它转换成火花数据格式。rs.next() print(" " + rs.getObject(i)) println()我想从Spark调用上面的代码，这样我就可以将数据加载到Dataframe中，并以更快的速度获得结果。我必须使用PreparedStatement。我不能使用spa
浏览 6提问于2017-08-04得票数 1
1回答
我正在尝试将PostgreSQL 9.6中的一个表读入RDD中的Spark2.1.1，我在Scala中有如下代码。import org.apache.spark.rdd.JdbcRDDimport org.apache.spark.SparkContextval sc = SparkContext.getOrCreate()
val rdd = new org.apache.spark.r
浏览 0提问于2017-06-16得票数 2
回答已采纳
当我试图在RDD[(Int,ArrayBuffer[(Int,Double)])]输入上应用一个方法(ComputeDwt)时，我遇到了上面的异常。我甚至在spark.Here中使用extends Serialization选项来序列化对象，这是代码片段。._2)))
org.apache.spark.SparkException: Job failed: java.io.NotSerializableException: org.apache.
浏览 1提问于2014-05-12得票数 7
我试图根据列表中这些对象的字段筛选RDD中的对象集合。firstusersRDD.filter(user => namesToFilterOn.contains( user.firstName )).firstorg.apache.spark.SparkException: Task not serializable同样
浏览 3提问于2015-11-29得票数 1
回答已采纳
我想从DStream中删除前n个RDDs。我尝试将以下函数与transform一起使用，但它不起作用(ERROR OneForOneStrategy: org.apache.spark.SparkContext java.io.NotSerializableException
浏览 1提问于2014-10-28得票数 0
当试图将JDBC加载到Spark中时，我遇到了非常奇怪的问题。 at org.apache.sp
浏览 2提问于2015-04-28得票数 13
回答已采纳
1回答
创建一个sparkconf并使用它，启动一个JavaStreamingContext并从中检索SparkContext。使用JdbcRDD和JavaRDD的Spark接收数据库中的数据，启动inputQueue，然后编写JavaInputDStream。因此，我在准备inputQueue时收到了第一组数据，但没有为进一步的流获取数据。;import org.apache.<e
浏览 1提问于2020-05-07得票数 0
1回答
星火外壳:不可序列化的任务
、、、、
使用Spark，我正在尝试从MySQL获取一些I。import java.sql.._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf
50
当我试图在<
浏览 5提问于2016-08-23得票数 1
我想要一份申请表-
我的问题是，关于使用JDBCRDD将数据写入另一个数据库的第4点，在创建JDBCRDD时，我们指定了连接参数。当我们创建JDBCRDD并将其分布在集群节点上时，连接对象是如何分布的？它是分布式的，还是为spark设置中的每个分
浏览 3提问于2014-11-14得票数 1
回答已采纳
1回答
package com.sampleimport org.apache.spark.SparkContext } .toDF("eid","ename")
}
我已经尝试过在</em
浏览 0提问于2016-12-18得票数 5
回答已采纳
1回答
我正在尝试从SQL-server中的一个过程中获取内容，以便在Spark中使用它。为此，我将通过Scala (Eclipse)中的JDBCRDD导入数据，并从过程中生成一个RDD。在创建RDD之后，我将它注册为一个临时表，然后使用sqlContext.sql(“选择查询以选择特定列”)。但是，当我在select查询中输入列名时，它会抛出一个错误，因为我在RDD和临时表中都没有列名。
浏览 4提问于2015-04-11得票数 0
回答已采纳
1回答
{}
每当我试图访问sc时，线程"main“中的异常:在org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:315) at org.apache.spark.util.ClosureCleanerorg.apache.<e
浏览 10提问于2015-09-18得票数 2
回答已采纳
我正在尝试使用spark来分析facebook的网络。当我创建Spark Conf的对象时，它给了我以下错误。主线程java.lang.NoClassDefFoundError异常: org/apache/spark/SparkConf。import org.apache.sp
浏览 3提问于2017-12-04得票数 1
1回答
我想知道是否可以在Apache的SQL和DataFrames中使用Postgis几何类型。调用方法getConversions时 * Maps a StructType to a type tag list.def getConversions(schema: StructType$apache$spark$sql$execution$datasources$jdbc$JDBCRDD$$getConversions(JDBCRDD.scala:35
浏览 3提问于2016-03-03得票数 5
我正尝试在本地运行spark作业，以将mysql表内容(在本地机器中)读取到jdbcRDD。从网上，我收集了以下源代码，并自定义读取元素表和加载所有列。(row);} at org.apache.spa
浏览 0提问于2015-08-01得票数 0
该错误可以在火花壳中再现。基本上，我定义了一个具有生成RDD的方法的类，然后在RDD上执行一个映射操作，这将生成序列化错误。首先是进口import org.apache.spark.SparkContextimport scal
浏览 1提问于2015-08-18得票数 4
但是，sc.parallelize()似乎会引发错误java.io.NotSerializableException: org.apache.spark.SparkContext。
浏览 0提问于2017-06-26得票数 1
回答已采纳
1回答
我试图通过JAVA代码在SAP上使用spark来执行查询。在调用数据框架对象的任何操作时，当调用java.io.NotSerializableException.In时，将抛出NotSerializableException。:任务中的异常不能在、org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:315)、org.apache.spark<
浏览 0提问于2016-03-29得票数 2
我正在尝试使用Spark JdbcRDD从SQL Server数据库加载数据。我使用的是Microsoft JDBC驱动程序的4.0版。java.lang.AbstractMethodError: com.microsoft.sqlserver.jdbc.SQLServerPreparedStatement.isClosed()Zat or
浏览 0提问于2015-01-31得票数 4
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
