如何使用case类将简单的DataFrame转换为DataSet Spark Scala？

文章/答案/技术大牛

发布

2回答

如何在不从DataFrame转换和访问数据集的情况下向Dataset添加列？

scala、apache-spark

我知道使用.withColumn()向星火.withColumn()添加新列的方法，以及返回DataFrame的UDF。我还知道，我们可以将结果DataFrame转换为DataSet。我的问题是：如果我们仍然遵循传统的DF方法(即将列名作为UDF输入的字符串传递)，DataSet的类型安全性是如何发挥作用的？是否有一种“面

浏览 1提问于2016-11-15得票数 11

回答已采纳

1回答

星火DataFrame与数据集的编码器差异

scala、apache-spark、apache-spark-sql

当阅读Spark的DataFrame (它是Dataset[Row]的别名)和Dataset之间的区别时，经常会提到Dataset利用Encoders高效地将JVM对象转换为Spark的内部数据表示。在scala中，有为case类和基元类型提供的隐式编码器。但是，我相信还有一个，它实现了Row在DataFram

浏览 1提问于2020-08-02得票数 0

回答已采纳

2回答

scala、apache-spark、apache-spark-sql

我正在尝试将Spark：中的示例中的简单DataFrame转换为DataSetimport spark.implicits._ val peopleDS =

浏览 1提问于2017-07-11得票数 0

回答已采纳

3回答

如何将DataFrame中的结构映射到case类？

scala、apache-spark、dataframe、apache-spark-sql、apache-spark-2.0

在我的应用程序中的某个地方，我有一个带有从case类创建的Struct字段的DataFrame。现在我想把它转换/映射回case类类型：case class Location(lat: Double, lon: Double) scala> Seq((10, Location(35, 25)), (20, Loc

浏览 1提问于2017-04-08得票数 5

回答已采纳

1回答

Spark数据集类型注释支持

scala、apache-spark

给出一个带有类型注释@Bar的简单case类 case class Foo() 在运行时将RDD[Foo]转换为Dataset[Foo]失败，并显示以下堆栈跟踪： User class threw exception: scala.MatchError: scala.Option[String] @Bar (of class scala.r

浏览 23提问于2019-05-04得票数 1

回答已采纳

1回答

将dataframe转换为dataset会保留额外的列

scala、dataframe、apache-spark、apache-spark-dataset

在Spark 2.11中，当将Dataframe转换为Dataset时，spark会保留甚至在dataset的类中都没有引用的额外列。scala> case class F(x: String, y: String)import <em

浏览 32提问于2021-07-02得票数 1

3回答

如何在不使用case类而使用StructType的情况下创建Dataset (非DataFrame)？

scala、apache-spark、apache-spark-sql

如何使用StructType创建数据集case class Person(name: String, age: Int) 62)).toDS()有没有办法在不使用case类的<

浏览 0提问于2017-09-19得票数 3

4回答

如何最有效地将Scala* DataFrame的行转换为case类？*

scala、apache-spark、apache-spark-sql

一旦我在Spark中获得了一些Row类，无论是Dataframe还是催化剂，我都想在代码中将其转换为case类。这可以通过匹配完成。someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)} 但是，当一行中有大量的列时，比如十几个双打，一些布尔人，甚至偶尔的空列，情况就变得很糟糕了。我只想能-抱歉-把排到myCaseClass.这是可能

浏览 9提问于2015-01-27得票数 55

回答已采纳

2回答

如何将带有小数的spark* DataFrame转换为具有相同精度的BigDecimal的数据集？*

scala、apache-spark、apache-spark-sql、apache-spark-dataset

如何创建具有给定精度的BigDecimal的spark数据集？请参见spark shell中的以下示例。您将看到，我可以创建具有所需BigDecimal精度的DataFrame，但无法将其转换为Dataset。scala> import scala.collection.JavaConverters._ scala> case cla

浏览 73提问于2019-11-14得票数 2

回答已采纳

2回答

将拼图作为Scala中的case类对象列表读取

scala、apache-spark、parquet

假设您已经编写了一些case类的集合到parquet，然后想要在另一个spark作业中读取它，返回到相同的case类(即，您已经编写了一些List[MyCaseClass]，并且想要读回它)。by spark's flatMap */ private def toCaseClass(spark : SparkSession, inputDF : DataFrame) : Dataset

浏览 2提问于2019-08-11得票数 3

2回答

如何使用在Scala中创建数据集的泛型case类实现特性

scala、generics、apache-spark-sql、traits、case-class

我想要创建一个Scala特性，它应该用case类T来实现。这个特性只是加载数据并将其转换为T类型的星火数据集。我得到了一个错误，即不能存储编码器，我认为这是因为Scala不知道T应该是case类。我在某个地方见过我应该提到的产品，但是没有这样的类定义。请随意建议其他方法来做这件事！我有以下代码，但它没有使用错误进行编译: 42: error:无法找到存储在Dataset<

浏览 4提问于2016-11-10得票数 4

回答已采纳

1回答

对元组数据集(String，_<:Product)进行动态转换

scala、apache-spark

我需要使用数据集，因为底层的案例类有一些我想使用的注释。def ret(spark: SparkSession, dss: DataFrame, typ: String): Dataset[_ <: Product] = { import spark.implicitsval ds = ret(spark,dataframe,"t1")将数据转<e

浏览 0提问于2019-11-09得票数 4

回答已采纳

1回答

Spark Java Encoders.bean无法转换为Scala定义的类

java、scala、apache-spark

我使用Java代码将JavaRDD转换为Dataset并将其保存到HDFS： Dataset<User> userDataset = sqlContext.createDataset(userRdd.rdd(), Encoders.bean(User.class)); userDataset.write.json("some_path"); User类是用Scala语言定义的： case class U

浏览 153提问于2019-09-23得票数 0

回答已采纳

1回答

Scala :如何将dataset用于有snake_case模式的case类？

scala、apache-spark、apache-spark-dataset

---------++--------------------+------------------+Exception

浏览 0提问于2018-04-16得票数 10

5回答

在Scala中基于字符串选择case类

scala、apache-spark

如何基于case class值选择String？[Foo] val df: DataFrame = spark.read.json(rddOfJsonStrings)df.as[Bar] throw ClassUnknownException //custom Exception变量classSeletector是一个简单的字符串，应该用来指向

浏览 4提问于2020-06-09得票数 1

回答已采纳

1回答

星火数据集与java.sql.Date

scala、apache-spark、apache-spark-dataset、apache-spark-encoders

假设我有一个像这样的火花Dataset：scala> case class Event(id: Int, date: Date, name: String), "ev2")).toDS 我想要创建一个只有名称和日期字段的新Dataset。据我所见，我可以在TypedColumn中使用TypedColumn，也可以在Column中使用ds.sele

浏览 1提问于2016-08-05得票数 8

回答已采纳

2回答

星星之火:如果DataFrame有一个模式，DataFrame如何成为Dataset[Row]？

scala、apache-spark、apache-spark-sql、apache-spark-dataset

声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。= sparkSession.create

浏览 0提问于2016-10-07得票数 6

回答已采纳

1回答

无法使用Case类将rdd转换为Dataframe

scala、apache-spark

我正试图使用Case类将rdd转换为DataFrame，如下所示2.创建一个具有标题定义的case类"rec“，如下所示： ca

浏览 1提问于2017-05-19得票数 0

1回答

无法使用build in toLocalIterator()将Spark数据集转换为迭代器

scala、apache-spark、dataset

我正在尝试将spark数据集转换为迭代器，以便将数据集写入influxdb。在构造了我想要的数据集之后，我需要将该数据集转换为迭代器，以便传递给influxdb编写器。但是，当对dataset类使用toLocalIterator()内置函数时，就会出现这个问题。(getMeasurementName, gatherTimeMetrics(df).toLocalIterator(), getCommonTags)) 我希望toLocal

浏览 24提问于2019-05-30得票数 1

3回答

在Spark之后使用scala对象

scala、dataframe、apache-spark、apache-spark-sql

换句话说，假设每个dataframe每个id都有一个记录，我希望将每个id之间的差异并列起来，在dataframe 1行和dataframe 2行之间。到目前为止，这是这样的代码：

浏览 2提问于2019-12-23得票数 1

回答已采纳

点击加载更多

如何在不从DataFrame转换和访问数据集的情况下向Dataset添加列？

星火DataFrame与数据集的编码器差异