大数据工作是幂等的吗？
大数据工作是幂等的吗？
提问于 2019-06-20 23:43:28
我已经看到，当我们使用MR、Spark或Tez作为执行引擎编写大数据作业时，作业是幂等的。
作业首先将数据写入一个临时目录，即".hivestaging...“
然后，FileOutputCommitter根据以下条件将数据合并到其最终目的地：
- 如果目标已有目录，则将其丢弃。
- 目录将从临时位置移动到目标位置。
我的问题是，为什么我们说工作是幂等的，无论它是成功还是失败？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56689575
复制相关文章
相似问题