问数据库上的火花-缓存Hive表

EN

缓存中的母化数据格式，您应该这样做：

val factTraffic = spark.read.parquet(factTrafficData)
factTraffic.write.mode(SaveMode.Overwrite).saveAsTable("f_traffic")
val df_factTraffic = spark.table("f_traffic").cache
df_factTraffic.rdd.count
// now df_factTraffic is materalized in memory

另见https://stackoverflow.com/a/42719358/1138523

但是，这是否有意义是值得怀疑的，因为parquet是一种柱状文件格式(这意味着投影非常有效)，而且如果每个查询都需要不同的列，缓存将不会对您有所帮助。

听起来您在Databricks上运行，所以您的查询可能会自动受益于数据库IO缓存。从Databricks 文档

Databricks IO缓存通过使用快速中间数据格式在节点本地存储中创建远程文件副本来加速数据读取。每当必须从远程位置获取文件时，数据就会自动缓存。然后在本地执行对相同数据的连续读取，从而显着地提高读取速度。 Databricks IO缓存支持从DBFS、Amazon S3、HDFS、Azure Blob存储和Azure Data读取Parquet文件。它不支持其他存储格式，如CSV、JSON和ORC。

Databricks运行时3.3或更高版本支持Databricks IO缓存。默认情况下是否启用它取决于您为集群上的工作人员选择的实例类型:目前，它自动为Azure Ls实例和AWS i3实例启用(有关详细信息，请参阅Databricks文档的AWS和Azure版本)。

如果此Databricks IO缓存生效，那么显式地使用带有未转换基表的Spark的RDD缓存可能会损害查询性能，因为它将存储数据的第二个冗余副本(并为此支付往返解码和编码)。

如果您正在缓存一个转换的数据集，那么显式缓存仍然是有意义的，例如，在对数据进行过滤以显著减少数据量之后，但是如果您只想缓存一个大型和未转换的基本关系，那么我个人建议依赖Databricks IO缓存，并避免Spark的内置RDD缓存。

有关更多细节，请参见完整的Databricks IO缓存文档，包括关于缓存升温、监视以及RDD和Databricks IO缓存的比较的信息。