如何在spark中创建可跨所有节点使用的全局变量
如何在spark中创建可跨所有节点使用的全局变量
提问于 2017-08-18 17:38:53
我需要在spark yarn集群中的所有节点上使用一个变量。spark中的广播变量是不可变的，所以在我的例子中没有用处。我需要一种同时支持读写的类似方法。
致敬，Sorabh
回答 1
Stack Overflow用户
发布于 2017-08-18 18:00:18
你不能，Spark是建立在不变性原则上的，事实上，任何分布式框架都是通过利用不变性的概念来工作的。
这里有一个类似的问题和漂亮的解释：How to define a global read\write variables in Spark
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45753424
复制相关文章
相似问题
腾讯云开发者
