我在上有一个长期运行的Apache批处理分析过程,它在半路上失败了。为了节省时间和成本,是否可以更新我的代码以处理故障,并使用缓存的中间检查点从故障点重新运行?
发布于 2019-09-12 22:52:01
数据流批处理管道在管道终止时丢弃所有中间结果(成功或失败)。
目前,您需要在管道中添加中间数据被物化的点,然后在失败时启动一个新管道,它是现有管道的一个子集,它读取中间结果并继续处理。
https://stackoverflow.com/questions/57879396
复制相似问题