Spark Java Encoders.bean无法转换为Scala定义的类

文章/答案/技术大牛

发布

5回答

如何将行映射到protobuf生成的类？

apache-spark、apache-spark-sql、protocol-buffers、apache-spark-encoders

我需要编写一个读取DataSetRow并将其转换为DataSetCustomClass的作业，其中CustomClass是一个protobuf类。Java Beans，我确实在以下方面得到了NPE如何确保作业可以发出DataSetCustomClass类型的数据集关于为类编写自定义编码器有什么建议/示例吗？NPE： val encoder2 = <em

浏览 8提问于2017-06-27得票数 6

1回答

java、scala、apache-spark

我使用Java代码将JavaRDD转换为Dataset并将其保存到HDFS： Dataset<User> userDataset = sqlContext.createDataset(userRdd.rdd(), Encoders.bean(User.class)); userDataset.write.json("some_path"); User类是用Scala语言定义的： case class UserfirstName: Stri

浏览 153提问于2019-09-23得票数 0

回答已采纳

2回答

将Spark DataFrame转换为Pojo对象

java、apache-spark、apache-spark-sql

请参考以下代码： SparkConf sparkConf = new SparkConf().setAppName("TestWithObjectssQLContext.sql("SELECT * FROM peoples WHERE name='test'");在此之后，我需要将结果-‘DataFrame’转换为

浏览 6提问于2015-12-10得票数 5

1回答

读取缺少列的CSV的Spark数据集

java、apache-spark

int field1; double field3;} 但是，我的CSV如何让spark读取CSV并转换为bean A而不抱怨缺少field4？sqlContext .schema(schema) .as(Encoders.bean(A.class)); 它抱怨说from a <

浏览 28提问于2020-01-30得票数 0

1回答

火花催化剂优化器铸造异常

java、apache-spark、apache-spark-sql

应用程序有检查接口对象某些条件的方法.我将此方法应用于两个类： at org.apache.spark.sql.catalyst.optimizer.CombineTypedFilters$$anonfun$org$apache$spark$sql$catalyst$optimizer$CombineTyp

浏览 0提问于2018-01-31得票数 1

1回答

用Java实现星火MLlib分类输入格式

java、apache-spark、apache-spark-mllib、apache-spark-ml

如何将DTO的列表转换为Spark输入数据集格式public class MachineLearningDTO implements Serializable {然后我得到： java.lang.Unsupport

浏览 5提问于2017-06-13得票数 0

回答已采纳

4回答

如何最有效地将Scala DataFrame的行转换为case类？

scala、apache-spark、apache-spark-sql

一旦我在Spark中获得了一些Row类，无论是Dataframe还是催化剂，我都想在代码中将其转换为case类。这可以通过匹配完成。someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)} 但是，当一行中有大量的列时，比如十几个双打，一些布尔人，甚至偶尔的空列，情况就变得很糟糕了。我只想能-抱歉-把排到myCaseClass.这是可能的，还是我已经有了最经济的

浏览 9提问于2015-01-27得票数 55

回答已采纳

1回答

避免解析Spark中的json子字段

json、apache-spark、schema

我有一个带有复杂模式的json文件(见下文)，我正在使用Spark读取这些文件。我发现一些字段在源数据中是重复的，因此Spark在读取过程中抛出了一个错误(正如预期的那样)。重复的名称位于storageidlist字段下。我想要做的是将storageidlist字段作为未解析的字符串加载到字符串类型的列中，然后手动解析它。这在Spark中是可能的吗？

浏览 31提问于2021-11-17得票数 0

1回答

Apache当类型是对象数组时如何获得TypedColumn？

java、apache-spark、spark-dataframe

我试图根据现有列向我的数据框架添加一个新列，其中数据是一个自定义对象数组。假设对象类型为MyObject，我试图执行如下操作：Encoder<MyObject[]> encoder = Encoders.beanat org.apache.spark.sql.catalyst.encoders.ExpressionEncoder$.javaBean(ExpressionEncoder.scala:87) ~[

浏览 5提问于2017-09-19得票数 0

回答已采纳

1回答

Spark java dataframe字符串无法转换为struct

apache-spark、apache-spark-sql

我定义了下面的spark模式 new StructFieldstate:{version:19,value:"approved"}}]}}");Dataset<Row> df = spark.sqlContext代码给出了以下错误 The value ({cr:{

浏览 128提问于2021-06-07得票数 1

回答已采纳

2回答

如何使用Java中的结构化流从Kafka反序列化记录？

java、apache-spark、apache-kafka、spark-structured-streaming

我正在尝试使用Spark结构化流读取Kafka的记录，反序列化它们，然后应用聚合。我有以下代码： .builder() .value字段反序列化到我的对象中，而不是转换为String。我有一个定制的反序列化器。 public StatisticsRecord deserialize(String s, byt

浏览 3提问于2017-05-12得票数 7

1回答

Spark dataset显示模式，但为show()方法抛出UnsupportedOperation异常

apache-spark、apache-spark-dataset

我使用自定义java类的bean编码器创建了Spark数据集at org.apache.spark.sql.catalyst.expressions.codegen.UnsafeRowWriter.write(UnsafeRowWriter

浏览 0提问于2018-02-22得票数 1

2回答

互操作性: Java和Scala之间共享对象或Row的数据集，有两种方式。我把Scala数据集操作放在Java数据集的中间

java、scala、apache-spark、scala-java-interop

c) I可以直接使用dataset返回的Scala对象。和 Scala 也在任何时候调用 Java 方法：<code>E 268</code>Java -> Scala

浏览 7提问于2020-09-22得票数 3

回答已采纳

1回答

Java:测试火花-sql

java、scala、apache-spark、apache-spark-sql、bigdata

我编写了应用程序的测试，并使用spark.而这个测试不起作用。没有火花-sql模块-所有测试工作(RDD)。assertTrue(claims.size() == 1000L); Dataset<Claim> dataset = getSparkSession().createDataset(claims, Encoders.bean.mapGroups((MapGroupsFunction<Integer, Claim, ResultBean>) (key, values) -> new ResultBea

浏览 1提问于2018-01-30得票数 3

3回答

星火java.lang.ClassCastException:不能将scala.collection.mutable.WrappedArray$ofRef转换为java.util.ArrayList

scala、apache-spark、apache-spark-sql

示例：输出： at org.apache.spark.scheduler.Task.run(Task.scala:89) at org.apache.spark<

浏览 0提问于2016-11-23得票数 9

回答已采纳

2回答

如何在Java中将DataFrame转换为Dataset？

java、apache-spark、spark-dataframe、apache-spark-dataset

我可以很容易地在Scala中将DataFrame转换为Dataset：val df = ctx.read.json("/tmp/persons.json")ds.printSchemaDataFrame df = ctx.read().json(

浏览 9提问于2016-01-07得票数 16

回答已采纳

0回答

Spark Java API:如何将JavaRDD转换为RDD类型

java、apache-spark、apache-spark-sql、apache-spark-dataset

我正在尝试将使用Dataframe编写的代码转换为DataSet应用程序接口。问题是我将JavaRDD创建为：但是sqlContext类的createDatasetEncoder<Abc> abcEncoder= Encoders.bean(Abc.class); Dataset<Abc&

浏览 4提问于2018-07-14得票数 2

回答已采纳

1回答

星火将隐藏参数添加到Scala类的构造函数中。

scala、apache-spark、reflection、read-eval-print-loop

我不知道如何解释这一点，但是火花似乎增加了一个隐藏的(隐含的？)参数转换为构造函数。下面是我在spark-shell中尝试的代码(在普通Scala参数列表中为空)：defined class A res0: Array[java.lang.reflect

浏览 0提问于2018-05-14得票数 1

回答已采纳

2回答

如何用java在spark中编码可选字段？

java、apache-spark、option-type、encoder

我不想对dataset中使用的类的字段使用空值。我尝试使用scala Option和java Optional，但是失败了： @NoArgsConstructor // mutable", Option.empty()) ds.collectAsList()

浏览 4提问于2020-04-21得票数 5

回答已采纳

1回答

火花数据集- NumberFormatException:零长度BigInteger

java、apache-spark、apache-spark-sql

<init>(BigInteger.java:302) at org.apache.spark.sql.execution.LocalTableScanExec$$anonfun$unsafeRows$1.apply(SparkTest.java:85)

浏览 0提问于2019-03-18得票数 1

回答已采纳

点击加载更多

如何将行映射到protobuf生成的类？