问将文件保存到Parquet时，分区列被移动到行尾

EN

当您将分区字段保存为文件夹时，这对以后读取数据是有益的，因为(对于某些文件类型，包含了拼花)，它可以优化地从您使用的分区读取数据(也就是说，如果您已经读取并筛选了centroid0==1 just不会读取其他分区)

这样做的效果是，分区字段(在您的例子中是centroid0)不只是作为文件夹名(centroid0=1、centroid0=2等)写入到拼花文件中。

它们的副作用是: 1.分区的类型是在运行时推断的(因为模式没有保存在parquet中)，在您的情况下，只存在整数值，因此它被推断为整数。

另一个副作用是，分区字段是在模式的末尾/开头添加的，因为它将模式从拼花文件中读取为一个块，然后将该分区字段作为另一个块添加到该分区字段(同样，它不再是存储在拼花中的模式的一部分)。

实际上，您可以很容易地使用包含分区数据模式的case类的列的排序。您需要从路径中读取数据，在路径中存储分区列，以使Spark推断这些列的值。然后，只需使用case类模式和如下语句应用重新排序：

val encoder: Encoder[RecordType] = Encoders.product[RecordType]
spark.read
      .schema(encoder.schema)
      .format("parquet")
      .option("mergeSchema", "true")
      .load(myPath)
      // reorder columns, since reading from partitioned data, the partitioning columns are put to end
      .select(encoder.schema.fieldNames.head, encoder.schema.fieldNames.tail: _*)
      .as[RecordType]

原因其实很简单。按列进行分区时，每个分区只能包含该列的一个值。因此，实际上在文件中到处写入相同的值是无用的，这就是为什么Spark没有这样做。读取文件时，Spark使用文件名称中包含的信息来重构分区列，并将其放在架构的末尾。列的类型不是存储的，而是在读取时推断出来的，因此在您的情况下是整数类型。注:没有什么特别的理由说明为什么在后面加列。可能是刚开始的时候。我想这只是一个武断的实现选择。

为了避免丢失列的类型和顺序，您可以像下面的df.withColumn("X", 'YOUR_COLUMN).write.partitionBy("X").parquet("...")一样复制分区列。

不过你会浪费空间的。另外，spark使用分区来优化过滤器。在读取数据之后，不要忘记使用X列作为筛选器，而不是您的列，否则Spark将无法执行任何优化。