首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Spark SQL 快速入门系列(3) | DataSet的简单介绍及与DataFrame的交互

defined class Person // 为样例类创建一个编码器 scala> val ds = Seq(Person("lisi", 20), Person("zs", 21)).toDS ds: org.apache.spark.sql.Dataset...使用基本类型的序列得到 DataSet // 基本类型的编码被自动创建. importing spark.implicits._ scala> val ds = Seq(1,2,3,4,5,6).toDS ds: org.apache.spark.sql.Dataset...> peopleRDD.map(line => {val para = line.split(",");Person(para(0),para(1).trim.toInt)}).toDS res0: org.apache.spark.sql.Dataset...从 DataSet 到 RDD 调用rdd方法即可 scala> val ds = Seq(Person("lisi", 40), Person("zs", 20)).toDS ds: org.apache.spark.sql.Dataset...String, age: Long) defined class People // DataFrame 转换成 DataSet scala> val ds = df.as[People] ds: org.apache.spark.sql.Dataset

1.2K20
领券