Spark Kryo异常-类未注册: com.google.common.base.Present

文章/答案/技术大牛

发布

2回答

火花流: com.esotericsoftware.kryo.KryoException: java.lang.IllegalArgumentException: Class未注册: scala.Tuple2

scala、serialization、apache-spark、spark-streaming、kryo

我试图在火花流中使用Kryo串行化器。我在上读到- .set("spark.kryo.registrationRequired","true") sparkConf.re

浏览 10提问于2016-12-30得票数 3

2回答

Kryo setWarnUnregisteredClasses为true，在spark配置中未显示任何内容

scala、apache-spark、serialization、kryo

val conf = new SparkConf() .setMaster("local[*]")那么，现在默认情况下它是false，所以如果将setWarnUnregisteredClasses设为true，它应该会像文档中提供的那样，显示遇到的未注册类的警告消息我正在尝试做的是通过设置这个属性.se

浏览 2提问于2019-12-10得票数 1

1回答

基于s3的存储加载机器学习模型

scala、apache-spark、amazon-s3、kryo

(Kryo.java:628)Note: To register this class use: kryo.register(org.apache.spark.sql.types.StructField[].class);... 10 more 您可能会说：“简单，您只需使用org.apache.<

浏览 0提问于2018-08-16得票数 2

回答已采纳

1回答

java、serialization、apache-spark、guava、kryo

我使用的是Spark 1.6.0-cdh5.8.0。但是，我不能使用Kryo序列化它，因为当前类具有默认可见性。下面的代码不起作用，因为Present是隐藏的... kryo.register(com.google.common.base.Present.class)

浏览 7提问于2016-09-24得票数 1

回答已采纳

2回答

为什么kryo注册不工作在SparkSession？

apache-spark、elasticsearch、serialization、kryo

", "local") .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .set("spark.kryo.registrator", "com.

浏览 3提问于2017-12-11得票数 1

3回答

在Spark中需要kryo序列化(Scala)

apache-spark、kryo

kryo序列化自定义类。我可以这样用kryo注册这个类：据我所知，这实际上并不能保证kyro序列化被使用；如果序列化程序不可用，kryo为了保证kryo序列化的发生，我遵循了Spark文档中的建议：

浏览 0提问于2015-07-14得票数 34

回答已采纳

1回答

如何在星火中注册InternalRow

hadoop、apache-spark、apache-spark-sql、hadoop2、kryo

我想用Kryo串行化来管理火花。因此，我设置了spark.serializer=org.apache.spark.serializer.KryoSerializer和spark.kryo.registrationRequired=true然后，当我运行我的代码时，我会得到错误： sc.getConf.registerKryoClass

浏览 1提问于2018-03-05得票数 4

回答已采纳

1回答

为什么我不能在DataFrame上使用排序或orderby？

scala、apache-spark

当我尝试对DataFrame进行排序时：我得到： 17/11/07 15:15:37错误执行器:任务3.0中的异常未注册: scala.math.Ordering$$anon$4注释:注册该类使用:java.lang.IllegalArgumentException序列化跟踪: ord (org.apache.spark.util.BoundedPriorityQueue(Kryo.java:6

浏览 2提问于2017-11-07得票数 0

回答已采纳

1回答

Spark内部类Kryo注册

scala、apache-spark、serialization、kryo

我是Spark的新手，我使用的是kryo的2.4.4。spark作业将写入大约100个零件文件，然后抛出以下异常而失败按照异常中的建议，我可以注册 kryo.register(org.apache

浏览 36提问于2020-05-06得票数 1

回答已采纳

3回答

星星之火与流口水--如何用Kryo序列化KieBase

java、scala、apache-spark、drools、kryo

我在一个异常中运行，试图序列化星火中的KieBase对象。当我执行以下代码时：val broadcastKieBase = spark.sparkContext.broadcast(kieBase) 线程"main“com.esotericsoftware.kryo.KryoException: java.util.ConcurrentModificationException中

浏览 8提问于2017-06-19得票数 1

4回答

当Kryo序列化与Spark一起使用时，ProtoBuf中的NullPointerException

apache-spark、kryo、protobuf-java

当我的spark应用程序试图序列化一个protobuf字段时，我得到了以下错误，该字段是键字符串和值浮点的映射。Kryo序列化正在spark应用程序中使用。UnmodifiableLazyStringList.java:68) at com.esotericsoftware.kryo.serializers.CollectionSerializer.read(CollectionSerializer.j

浏览 37提问于2018-11-02得票数 1

1回答

如何让星火使用Kryo序列化对象？

serialization、apache-spark、kryo

", "org.apache.spark.serializer.KryoSerializer") 配置传递给set上下文的SparkConf实例，即将"spark.serializer“设置为"o

浏览 2提问于2015-02-17得票数 7

1回答

Kryo序列化拒绝注册类

scala、kryo

我试图在以下方面使用kryo序列化：我一直收到以下错误:某个类未注册：Note: To register this class use: kryo.register(com.my.package.MyClass[].class);

浏览 5提问于2014-02-25得票数 9

回答已采纳

1回答

LabeledPoint类的Kryo注册

scala、apache-spark、apache-spark-mllib、kryo

我试图用Kryo注册运行一个非常简单的scala类。这个类只将数据从文件加载到RDD[LabeledPoint]中。import org.apache.spark.", "org.apache.spark.serializer.KryoSerializer") conf.set("spark.kryo.registrationRequired", "truecom.esote

浏览 2提问于2015-12-16得票数 1

回答已采纳

1回答

在Storm配置中注册序列化程序

scala、apache-storm

import com.twitter.chill.KryoSerializerimport backtype.storm.serialization.IKryoDecoratorclass KryoDecorator extends IKryoDecorator { KryoSerializer.registerAll(k)}stormConfig.registerDecorator(c

浏览 0提问于2013-05-29得票数 2

回答已采纳

2回答

数组类的Spark* Kryo寄存器*

java、apache-spark、kryo

我正在尝试使用数组注册一个类(激活了Kryo的Spark Java )，日志显示了一条清晰的消息： Class is not registered: org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]")); // ERROR kryo.register(Class.forName("org.apache.spark<

浏览 66提问于2019-01-09得票数 6

回答已采纳

1回答

自定义kryoSerialization流不能在scala火花中工作

scala、hadoop、apache-spark

我正在尝试实现自定义kryo序列化。") .set("spark.kryo.registrationRequired", "true") .set("spark.kryo.registrator&

浏览 4提问于2016-10-13得票数 0

回答已采纳

1回答

火花kryo序列化寄存器Datatype[]

serialization、apache-spark、kryo

若要强制spark使用kryo序列化，可以设置以下选项spark.kryo.registrationRequired。如何注册org.apache.spark.sql.types.DataType[]？Class is not registered: org.apache.spark.sql.types.DataType[] 这就是抛出一个异常。但是，尝试像classOf[org.apache.spark.sql.types.DataType[]]这样

浏览 1提问于2016-12-15得票数 2

回答已采纳

1回答

如何在Kryo注册Receiver[]？

scala、apache-spark、kryo

: org/apache/spark/streaming/receiver/Receiver[]/class，此操作失败sparkConf.set("spark.kryo</

浏览 13提问于2017-03-09得票数 1

回答已采纳

2回答

窗口表达式上的Spark单元测试错误

apache-spark

我是在Windows下运行的，只要Spark操作不使用org.apache.spark.sql.expressions.Window对象，一切都很完美。org.apache.spark.rdd.RDD.mapPartitions(RDD.scala:706)Caused by: java.lang.ClassCastExceptio

浏览 4提问于2016-03-22得票数 2

点击加载更多

火花流: com.esotericsoftware.kryo.KryoException: java.lang.IllegalArgumentException: Class未注册: scala.Tuple2

Kryo setWarnUnregisteredClasses为true，在spark配置中未显示任何内容

基于s3的存储加载机器学习模型