我在Yarn上运行Spark应用程序时遇到了一些问题。我有非常广泛的集成测试正在运行，没有任何问题，但当我在YARN上运行应用程序时，它将抛出以下错误：org.apache.spark.SparkException$$anon$2.run(App
浏览 100提问于2017-01-06得票数 1
回答已采纳
4回答
是否有方法使用Java将ANSI字符串转换为UTF。
引起的: java.io.UTFDataFormatException:编码<e
浏览 9提问于2009-09-23得票数 4
回答已采纳
我已经在Pentaho report Designer 6.0.1中创建了一个带有相关参数的报告。将相同的内容发布到了Pentaho BI Server 6.1。在预览中，该报告在PRD中运行良好，我能够看到数据。此外，在发布报告的过程中也不会抛出错误。但发布后，当我尝试启动报表时，链接打开为空白，加载微调器永远旋转。我也检查了对半服务器中的日志(catalina.out和pentaho.log)，除了启动过程中<e
浏览 3提问于2016-06-15得票数 0
1回答
了解星火的关闭及其序列化
、、、
我很难理解著名的“任务不可串行化”异常，但我的问题与我所看到的有些不同(至少我认为如此)。
我有一个很小的定制RDD (TestRDD)。它有一个字段，用于存储类不实现可序列化(NonSerializable)的对象。我已经将"spark.serializer“配置选项设置为使用Kryo。内部时，我发现它在我的RDD上使用了它的闭包序列化程序，这是序列化
浏览 1提问于2016-10-26得票数 18
我在scala的spark 1.6.2中实现了Kryo序列化。我为下面的getdate方法获取了"org.apache.spark.SparkException: Task not serializable"。format = new SimpleDateFormat(format_ts)
但是当我在日期列中插入
浏览 0提问于2018-02-09得票数 1
1回答
我试图按下面的方式读取工作节点中的一个文件，但是它给出了一个错误，说明任务不能序列化。我的代码如下：
JavaPairRDD<String, String> rdd1 = pairs.reduceByKey(new Function2<String, String, String>()任何帮助都是非常感谢的。
浏览 2提问于2020-07-28得票数 0
正如问题标题所述，我正试图向执行者广播一个TypeSafe配置，这样我的代码就可以访问配置。不幸的是，我得到了一个例外 //some actual implementation of loading my application.conf file}
当我在main方法中调用broadC
浏览 0提问于2019-06-27得票数 1
回答已采纳
我想以拼花的形式写输出文件。为此，我将RDD转换为dataset，因为从RDD，我们不能直接获得拼花表单。而对于创建数据集，我们需要使用隐式编码器，否则，它就会产生编译时错误。我只在这方面有几个问题。以下是我的代码： val ds: Dataset：
浏览 3提问于2018-12-27得票数 4
回答已采纳
我正在Spark中构建一个应用程序，并且希望在类中的方法中使用SparkContext和/或SQLContext，主要用于从文件或SQL查询中提取/生成数据集。SQLContext(sc)}
将SparkContext作为参数传递给T2P类不起作用，因为SparkContext是不可序列化的UPDATE从这篇文章的评论中了解到，SparkConte
浏览 1提问于2015-07-27得票数 2
我可以这样用kryo注册这个类：据我所知，这实际上并不能保证kyro序列化被使用；如果序列化程序不可用，kryo为了保证kryo序列化的发生，我遵循了Spark文档中的建议：但这会导致</e
浏览 0提问于2015-07-14得票数 34
回答已采纳
1回答
我正在尝试读取由hive使用spark生成的序列文件。当我尝试访问该文件时，我面对的是org.apache.spark.SparkException:作业由于阶段故障而中止:任务不可序列化: java.io.NotSerializableException：是因为BytesWritabl
浏览 4提问于2017-05-04得票数 1
1回答
通常，当从列表创建RDD时，您可以只使用SparkContext.parallelize方法，但是不能使用任务内部的spark上下文，因为它是不可序列化的。我需要从任务中的String列表创建一个RDD。有办法这样做吗？我尝试在任务中创建一个新的SparkContext，但是它给了我一个错误，它不支持同一个JVM中的多个星火上下文，并且我需要设置
浏览 4提问于2015-12-01得票数 1
回答已采纳
1回答
我试图使用Foreach分区来迭代一个数据文件，以便将一个值插入到数据库中。我使用了前端分区，对行进行分组，并使用foreach迭代每一行。请在下面找到我的密码， org.apache.spark.SparkException :不可</e
浏览 0提问于2021-12-02得票数 0
2回答
println(result.count())
}
def func_1(i:Int): Int = { }我知道我得到错误“任务不可序列化”的原因是，在第二个示例中，我试图从驱动节点发送不可序列化的对象funcs到worker节点。但在我看来，因为funcs是一个对象而不是一个类，所以它是一个单例，应该从驱动程序中序列化并传送到工人，而不是在
浏览 3提问于2016-11-14得票数 9
回答已采纳
1回答
我试图了解Spark中的任务序列化是如何工作的，并且对我在我编写的测试中得到的一些混合结果感到有点困惑。rdd.map(element => { }).collect()}
当我执行run()时，作业会像预期的那样使用“任务不可序列化”异常来执行，因为helperO
浏览 3提问于2017-10-26得票数 9
回答已采纳
4回答
sc.parallelize(names).flatMap(broadcastMap.value.get).collect.foreach(println)
Canada我在YARN模式下运行这个spark作业，我确信驱动程序和执行器不在同一个node/JVM中(见附件中的图片)。我的问题是，如果局部变量是可序列化的，Spark会自动将它们填充到executors中吗？如果不是
浏览 1提问于2019-09-19得票数 0
如果我将以下代码放入一个扩展App特性的对象中，并使用Idea的run命令运行它，那么下面的代码就没有问题。但是，当我尝试从工作表中运行它时，我会遇到以下情况之一：
无法为内部类A$35$A$35$A12生成编码器，而无法访问定义该类的作用域。
浏览 12提问于2017-04-05得票数 4
还有另一个“任务不可序列化”的问题。抱歉，Scala和Spark的新手有点挣扎…… 所以我有一个带有方法的对象 object transformations {
)} 我想把<
浏览 2提问于2019-03-11得票数 2
我有两个字符串的rdd，JoindStrings: RDD(String，String)，我需要计算我尝试过的每一对字符串之间的相似性： JoindStrings.map(x => (x._1, x._2, getSimilarity(x._1, x._2)))
org.ap
浏览 6提问于2017-11-30得票数 0
1回答
对于数组中的所有元素，我应该读取Cassandra的数据，执行一些计算并将数据插入Cassandra。context to make the querysave it back to Cassandra})编辑的
线程"main“中<
浏览 4提问于2016-04-21得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
