问题:我想以DDL格式获取两个模式之间的公共属性。我有以下工作代码来获取scala中模式的交集： val diff = df1.schema.intersect(df2.schema)diff.toStream.foreach(x => sb.append( x.toDDL + ", ")) 但在将这段代码转换为Java时，我面临着转换问题： S
浏览 18提问于2020-07-15得票数 1
回答已采纳
我正在将一些代码从Spark1.6迁移到Spark2.1，并努力解决以下问题：import org.apache.spark.sql.types.{LongType, StructField, StructType}
val schema = StructType(Seq(StructField("i", LongType,nullablesche
浏览 4提问于2017-06-02得票数 2
回答已采纳
我已经和Scala 2.12一起使用过Spark 3.1.2了。我想在节点之间并行一些键，它们根据接收到的键来读取数据。因此，我必须先使用RDD，然后再将其转换为Spark DataFrame。我从Oracle Database中的表中读取数据。(rdd, schema) } val group_list = Seq</em
浏览 6提问于2021-09-26得票数 1
我有一个名为values的矢量集合，我正尝试将其转换为数据帧 scala.collection.immutable.Vector[(String, Double)] = Vector((1,1.0),<and> (name: String)org.apache.spark.sql.types.StructField中描述的
浏览 9提问于2019-01-04得票数 0
我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。尝试从头开始创建数据帧： var dataRow = Seq((cdpos_df.count(),I_count,D_count,U_count))
(data: jav
浏览 69提问于2021-09-14得票数 0
我试图在不使用case类的情况下将RDD转换为Dataframe。csv文件如下所示：0,158023,L. Messi <br>
val schema = StructType(List(StructField(&quo
浏览 0提问于2019-02-22得票数 0
1回答
"someValue", { "k1" : "someOtherValue" }当我试图在模式中指定可选字段时，表中没有该字段的所有条目都具有所有空值columns: k1 | optKrow2: "someOtherValue&q
浏览 4提问于2017-12-05得票数 1
1回答
使用Spark2.x，我似乎无法使用由case类组成的RDD来创建Dataframe。它在Spark1.6.x上运行良好，但在2.x上失败，运行时异常如下：前面有一堆从催化剂生成的代码。StructField(&qu
浏览 1提问于2016-09-01得票数 5
回答已采纳
我有一个带有“周”&“年”列的dataframe，需要计算如下所示的月份：+----+----++----+----+| 50|2012|
浏览 2提问于2016-05-30得票数 1
回答已采纳
1回答
我有一些sql.Row对象，我希望在Spark1.6.x中将它们转换为DataFrameevents: scala.collection.immutable.Iterable[org.apache.spark.sql.Row； StructField("trackId", IntegerType, true),
StructField("lo
浏览 0提问于2017-10-12得票数 0
我有一个输入json文件，它有两个对象。当我尝试读取文件时，我使用schema获取第一个对象值。以下是我的代码{age: 30,id: 01123{age: 25,id: 02354
val Schema = StructType(Seq(
StructFi
浏览 1提问于2020-08-21得票数 0
短版本：如何将嵌套数组中的每个条目转换为不同的内容(例如，结构)？： StructField("column_a", ArrayType(StringType), true)val data = Seq( StructField("column_a", ArrayType(Str
浏览 0提问于2018-08-10得票数 4
回答已采纳
4回答
如何将火花数据文件中的所有列名输入到Seq变量中。string (nullable = true)|-- ID: string (nullable = true)
selectColumns: Seq[org.apach
浏览 9提问于2017-10-15得票数 25
回答已采纳
2回答
所有对象都保存到一个ListBuffer中。 // Get first listitem and initiate
浏览 1提问于2017-07-04得票数 0
回答已采纳
Failed to merge incompatible data types IntegerType and DoubleTypeval schema = StructType(Seq(new StructField("myField", IntegerType)))
浏览 0提问于2018-12-18得票数 10
1回答
我试图将下面的dataframe转换为嵌套的json (string)+---+---+-------+------++---+---+--jocelyn","rental") ]
schema= StructType([
浏览 1提问于2021-01-07得票数 2
回答已采纳
1回答
val df = spark.read.avro(file)尝试手动创建架构，但现在遇到以下问题：
val df = spark</e
浏览 0提问于2018-06-15得票数 1
1回答
嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？我的rdd：我试着创建一个schema对象；
val <em
浏览 0提问于2017-10-12得票数 1
我无法将RDD数据转换为pyspark中的Dataframe。 StructField("ename",StringType(),True), ])
df = spar
浏览 5提问于2021-04-02得票数 0
因此，它需要解析所有需要更长时间的数据(4小时，因为我的数据是压缩的，大小为to )。因此，我想尝试将其读取为textFile，并强制执行模式，以便以后在结果数据框上查询时只获取感兴趣的字段。可以给我一些参考，关于如何将模式映射到json like input。])org.apache.spark.sql.types.StructType <and>
(fields: java.util.List[org.apache.
浏览 0提问于2016-07-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
