与hdfs相比，spark 2.x按分区写入拼图的速度极慢

与HDFS相比，Spark 2.x按分区写入Parquet的速度较慢的原因是由于Parquet文件格式的特性和Spark的执行机制。

Parquet是一种列式存储格式，它将数据按列存储，可以提供更高的压缩比和查询性能。然而，由于列式存储的特性，写入Parquet文件需要对数据进行列式转换和压缩，这会导致写入速度相对较慢。

另外，Spark的执行机制也会影响写入速度。Spark采用了惰性执行的策略，即在遇到action操作之前，所有的转换操作都只是记录了转换规则，并没有真正执行。当执行action操作时，Spark会根据转换规则进行计算并写入数据。这种执行机制可能导致写入速度较慢，特别是在按分区写入时，需要对每个分区进行转换和写入操作。

针对这个问题，可以采取以下优化措施：

1. 调整Parquet文件格式的参数：可以尝试调整Parquet文件格式的参数，如压缩算法、压缩级别等，以平衡写入速度和查询性能之间的关系。
2. 调整Spark的配置参数：可以根据具体情况调整Spark的配置参数，如executor内存、并行度等，以提高写入速度。
3. 使用分区缓存：可以将数据缓存在内存中的分区缓存中，减少转换和写入的开销。
4. 使用更高版本的Spark：可以尝试使用更高版本的Spark，因为每个版本的Spark都会对性能进行优化和改进。

腾讯云相关产品和产品介绍链接地址：

• 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
• 腾讯云数据仓库（CDW）：https://cloud.tencent.com/product/cdw
• 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr