当动态分配设置为true时，手动分配核数
当动态分配设置为true时，手动分配核数
提问于 2017-10-11 19:28:32
我们有一个3节点集群。每个节点有20个核心和100 20内存。我们将动态资源分配设置为true。
我想根据我的意愿调整资源。
例如：
spark-submit只使用一个核心。默认情况下，它是选择4-6核。- 我想把这个设置为我运行的每一个火花提交。
我怎样才能达到我的要求。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-10-11 19:40:30
spark.dynamicAllocation.enabled是应用程序的属性。可以在每次提交时设置它，使用下列之一：
- 将
--conf选项传递给submit。 - 在
spark.dynamicAllocation.enabled对象上设置SparkConf。 - 使用
config的SparkSessionBuilder方法。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/46696072
复制相关文章
相似问题
腾讯云开发者
