开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >问答首页 >大数据工作是幂等的吗？

问大数据工作是幂等的吗？
EN

Stack Overflow用户

提问于 2019-06-20 23:43:28

回答 1查看 210关注 0票数 0

我已经看到，当我们使用MR、Spark或Tez作为执行引擎编写大数据作业时，作业是幂等的。

作业首先将数据写入一个临时目录，即".hivestaging...“

然后，FileOutputCommitter根据以下条件将数据合并到其最终目的地：

如果目标已有目录，则将其丢弃。
目录将从临时位置移动到目标位置。

我的问题是，为什么我们说工作是幂等的，无论它是成功还是失败？

EN

回答 1

Stack Overflow用户

发布于 2019-06-21 01:29:44

大数据作业有时是幂等的，有时不是幂等的。就像编程的许多方面一样。

从以下URL What is an idempotent operation?

因此，在这种情况下，它不是幂等的。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56689575

复制

相似问题