问如果执行器发生故障，使用外部洗牌服务可以使用保存的洗牌文件吗？

EN

我认为火花黑名单设计博士回答了这个问题(在HealthTracker类注释中引用)：

在获取洗牌块时，Spark已经对失败节点进行了一些处理。这会自动导致火花标记混乱数据为缺失，并使用阶段故障机制来根据血统重新生成丢失的块。

也就是说，是抓取失败触发了阶段故障和随后的洗牌块再生。在启用Service并为获取请求提供服务时，当执行者死亡时，将不会出现提取失败，从而导致后续阶段失败。此外，黑名单设计或驱动程序的HeartBeatReceiver中没有任何东西可以显式地删除丢失的执行器编写的洗牌块。因此，由死执行者编写的洗牌块将继续由相关节点上的洗牌服务提供服务。

你引用的一句话：

火花执行器在失败或关联应用程序也已退出时退出。在这两种情况下，与执行器关联的所有状态不再需要，可以安全丢弃。

来自“行刑人的优雅退役”一节。

这个特性的主要目的是提供一个解决方案，当Kubernetes被用作资源管理器时。在没有外部洗牌服务的地方。它正在将磁盘持久化RDD块和洗牌块迁移到其余的执行器中。

对于Yarn ，当启用外部洗牌服务时，将从作为Yarn的辅助服务运行的外部洗牌服务(在节点管理器中)获取块。该服务知道执行者的内部目录结构，并能够为块提供服务(就像在同一台主机上一样)。这样，当节点存活并且只有执行者死亡时，块就不会丢失。

动态资源分配要求在Yarn中启用ESS。请参阅同一文档中的这。

ESS是在节点管理器中运行的独立服务。当executor死掉时，当远程执行程序试图获取时，同一节点上的ESS能够服务其映射输出文件。