应如何配置主节点和工作节点以实现可伸缩性和高可用性
应如何配置主节点和工作节点以实现可伸缩性和高可用性
提问于 2021-07-12 00:09:30
我正在使用GCP Dataproc和Kubernetes开发数据工程解决方案。
虽然创建原型很容易，但问题来自于主配置和工作配置。云提供商的示例说明主服务器和辅助服务器的配置是相等的。
https://cloud.google.com/ai-platform/training/docs/machine-types
AWS和Azure等其他云提供商也是如此。
是否有可能master的配置比worker的配置更低？例如：Master = n1-highcpu-8 Workers = n1-highcpu-16
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-07-15 16:12:02
当您在GKE上运行Dataproc时，主节点和工作节点的大小实际上并不适用，因为Kubernetes变成了资源管理器，而不是纱线。在创建GKE集群时，有多种策略可用于优化运行Dataproc的成本和规模。我推荐使用Node Auto-provisioning，因为它会根据部署的工作负载自动添加/删除合适大小的节点。您还可以设置节点的最小和最大大小。我认为最小尺寸应该使用4种CPU机器类型。
在创建标准的Dataproc集群时，主节点和工作节点确实可以是不同的类型。帮助确定主节点的正确大小的因素包括工作节点的数量和提交的作业数量。通常情况下，主节点和工作节点的CPU配置类似，如果有500+工作节点，您可能希望主节点的内存是工作节点的2倍，因为它们需要管理更大的工作空间。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68337927
复制相关文章
相似问题
腾讯云开发者
