假设我们有一个RDD,它被多次使用。因此,为了一次又一次地保存计算,我们使用rdd.persist()方法持久化这个RDD。
因此,当我们持久化这个RDD时,计算RDD的节点将存储它们的分区。
那么现在假设包含这个RDD持久化分区的节点出现故障,那么会发生什么呢?spark将如何恢复丢失的数据?有没有复制机制?或者其他一些机制?
https://stackoverflow.com/questions/47711940
相似问题