我一直在尝试找出确切的问题所在，但无法做到。尝试遵循类似的东西，也是UDF to generate JSON string behaving inconsistently，但仍然无法理解问题。value).as("value")) //combination of this two line doesn't work either
// .withColumn("value", to_json('value).as
浏览 22提问于2020-09-15得票数 0
回答已采纳
1回答
我正在尝试执行以下代码。 return df;当我执行这段代码时，它会抛出一个错误
User类抛出异常: org.apache.spark.SparkException:任务不可序列化。原因: java.io.NotSeri
浏览 3提问于2020-04-07得票数 1
1回答
我有一个Spark，其中我试图调用一个UDF [它是我使用Spark udf创建的。val udfName = udf(somemethodName)我正在尝试使用另一个作为val存储在somemethodName中的DF，但是DF以null的形式出现。只有当我在newDF中使用<
浏览 1提问于2016-11-23得票数 0
当我在我的spark(用java编写)应用程序中使用UDF函数时，我得到了这个错误。org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:403)：任务在org.apache.spark.SparkException处不可序列化...由:类: jp.co.nec.necdas.commons.customize.service.dataset.ALMTriggerProcessLogic
浏览 0提问于2019-10-17得票数 0
3回答
我有一个从dataframe过滤和选择值的UDF，但它遇到了"object not serializable“错误。详情见下文。我想要根据来自另一个dataframe df2的匹配的"ID“和"Value”对"Y“列的子集求和。("Result", callUDF("udf_test", $"ID", $"Value"))java.io.NotSerializableE
浏览 20提问于2018-02-21得票数 3
回答已采纳
1回答
我正在尝试读取由hive使用spark生成的序列文件。当我尝试访问该文件时，我面对的是org.apache.spark.SparkException:作业由于阶段故障而中止:任务不可序列化: java.io.NotSerializableException：
我已经尝试了解决这个问题的办法，比如让类可序列化，但我仍然面临着这个问题。
浏览 4提问于2017-05-04得票数 1
我有读取pom.xml文件的代码，然后尝试重新序列化并将其写回：
writeFile文件: pomFileOut，文本: pomXMLTextOut // <--这一行崩溃时出现</em
浏览 4提问于2016-12-15得票数 1
我们有一个带有Vaadin 8，Spring Boot 2.1.3和Open Feign的web应用程序。问题是：java.io.NotSerializableException: java.lang.r
浏览 3提问于2019-04-04得票数 1
我试图将数据流中的运行时参数与AvroIO结合使用，结果却遇到了序列化问题(java.io.NotSerializableException: org.apache.avro.Schema$RecordSchema然后我发现这个页面底部的表格中缺少AvroIO：
我猜这是由于一些Avro类的不可序列化，是真的吗？有没有解决这个问题的计划？如果没有，如果我需要在写入Avro文件的模板中使用运行时参数，我应该如何做？我是否必须放弃模板，并以某种方式让我的服务在每次需要时以标
浏览 3提问于2017-07-07得票数 0
Mahout的DrmRdd类型定义为这可以翻译为但是，Mahout文档清楚地指出Vector类是不可序列化的这让我很头疼，关于如何生成RDD(K，Vector)来包装到Mahout Drm中，而不会因为Vector不可序列化的事实而被绊倒。
我的问题是，spark RDD tuple什么时候需要可序列化？或者，它们是否只需要对某些需要通过shuffle传递的函数可序列化？
浏览 15提问于2016-07-29得票数 0
回答已采纳
1回答
Spark任务不可序列化
、、、
在生产中使用Java 7，在开发中使用Java 7/8。
我们需要几个DataFrame转换，我们认为通过Spark对内存中的DataFrame DataFrame编写一个UDF将完成这项工作。这在sqlContext中没有包含UDF调用的情况下运行良好，但是一旦它们被添加，我们就会得到“任务不是可序列化的”错误。线程"main“org.apache.spark.SparkException中的异常:不可序列化的任务</em
浏览 3提问于2016-03-23得票数 1
回答已采纳
3回答
Spark函数与UDF性能？
、、、、
Spark现在提供了可以在数据帧中使用的预定义函数，而且它们似乎是高度优化的。我最初的问题是哪个更快，但我自己做了一些测试，发现spark函数至少在一个实例中快了10倍。有没有人知道为什么会这样，什么时候udf会更快(只有在存在相同的spark函数的情况下)？下面是我的测试代码(在Databricks社区版上运行)：from faker import Factoryconcat_s = udf(lambda s:
浏览 26提问于2016-07-11得票数 58
回答已采纳
MySQL文档()中有一条语句困扰着我：这是否意味着我注定要使用普通的老C来编写我的UDF ?？
浏览 1提问于2009-04-08得票数 2
回答已采纳
7回答
我正在寻找一种解决方案，以便在Apache节点上执行代码时能够记录额外的数据，这可能有助于以后研究在执行过程中可能出现的一些问题。例如，尝试使用像com.typesafe.scalalogging.LazyLogging这样的传统解决方案会失败，因为日志实例不能在像Apache这样的分布式环境中序列化。我想知道--它们是否是我可以使用的已知的日志记录解决方案，并允许我在Apache节点上执行RDD时记录数据？
@嗣后编辑：下面的一些评论建议使用Log4
浏览 4提问于2015-03-23得票数 69
我有这段代码，它会抛出异常代码如下
package basededatosmuebleria
浏览 1提问于2018-05-21得票数 0
回答已采纳
我有一个小问题:我想在android上测试序列化(使用eclipse)，并找到了一个如何做到这一点的示例。我知道我需要在我想要序列化的类中实现"Serializable“，我已经这样做了，并且总是得到一个java.io.NotSerializableException异常。} catch(IOException ioe) {
Log.e("serializeObject", "error", ioe); //&quo
浏览 11提问于2011-11-22得票数 7
我有一个设备ID与startTime和一些特征向量的数据，这些数据需要基于hour或weekday_hour进行合并。当我尝试以以下方式创建键列时：
val columnMap = Map("hour" -> hour($"startTime"), "weekday_hour" -> getWeekdayHourUDF- object (class scala.collection.immutable.Map$Map3, Map(hour -> hour(star
浏览 1提问于2018-03-15得票数 2
回答已采纳
Spark无法在MapString，AvroObj中序列化avro对象，即使我使用avro-1.8.0使avro对象可序列化之后也是如此。scala.collection.mutable.HashMap)我怀疑模式$属性仍然是不可序列化的，但是当我在闭包中单独使用AvroObj时，一切工作正常。请注意，我使用的是KryoRegistrat
浏览 2提问于2016-06-23得票数 1
我有一个输入表(I)，其中包含100列和1000万条记录。使用我猜在列级别上工作的UDF，即以I的现有列作为输入，并生成相应的O列之一，即使用50个UDF函数。我想知道上述2中哪一个更有效率(更高的分布和并行处理)，以及为什么或如果它们具有同样的速度/性能，因为我正在处理整个输入表I并产生全新的输出表O，即它是一个批量数据处理。
浏览 12提问于2017-04-14得票数 20
3回答
我正在尝试与一个只能接受单个TCP连接(内存限制)的设备进行交互，因此不能像正常的客户端-服务器情况那样为每个工作线程启动一个连接，例如数据库连接。我尝试过使用Multiprocessing Manager字典，它可以在线程之间全局访问，格式为：_pickle.PicklingError: Can't pickle <c
浏览 0提问于2016-03-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
