问如何在Hadoop中定义共享(全局)变量？
EN

Stack Overflow用户

提问于 2012-12-13 04:17:11

回答 1查看 1.3K关注 0票数 2

我需要一个共享的(全局)变量，它可以在所有映射器和减法器之间访问。映射器只是从其中读取值，但reducers会更改一些值，以便在下一次迭代中使用。我知道DistributedCache是一种可以做到这一点的技术，但是它只支持读取共享值。

发布于 2012-12-13 05:09:08

这正是构建ZooKeeper的目的。ZooKeeper可以跟上来自映射器/缩减程序的大量读取，并且仍然能够时不时地写一些东西。

另一种选择是set values in the configuration object。但是，这只在全局范围内存在于单个作业中。您必须自己管理这个值在作业之间的传递。此外，您不能在作业运行时结束此操作。

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/13847887

复制

相似问题

问如何在Hadoop中定义共享(全局)变量？EN