我有一系列的地图。每个映射包含作为键的列名和作为值的列值。一张地图描述了一行。我不知道地图上会有多少个条目。所以我不能在代码中创建一个固定长度的元组。我想把序列转换成数据帧。from this block}.toDF(columns:_*)
但它给出了以下例外:
org.apache.spark.sql.types.ArrayType</e
我正在将一个集合从MongodB导入到Spark。("collection", collectionName).load() 对于结果DataFrame中的data列,我得到以下类型: StructType(StructField(configurationName,NullType,true), ...因此,在某些列中至少有一些类型是NullType。根据Writing null values to Parquet in Spark when th
我尝试使用硬编码字符串并将其转换为1行星火DataFrame (带有类型为StringType的一列),以便:DataFrame的结果,其.show()方法如下所示(Seq(rawData)).toDF()
但是,我得到了以下编译器错误:
java.lang.ClassCastException: org.apache.spark.sql.types.ArrayTypecannot be cast to