设计一个规模合适的集群
目标
给定需求和数据规模, 能够设计一个合适的集群
步骤
资源预估
选择服务器
为服务器选择服务(角色)
1.1....选择服务器
假设我们公司很有钱, 选择在京东上买新的 Dell 服务器, 选择了一个比较好的机器如下
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a4O6pACR-1653908983049...G 4条(可扩展至24条)
硬盘 Dell SAS 3.5英寸 4 TB 3块(可扩展至8块)
所以, 单台服务器可以有 128G 内存, 28 cores, 那我们需要的集群数量如下
类型 数量...使用自动化运维工具, 自动的在所有节点执行相同的操作
例如, 在 4000 个节点中执行同样的 Shell 脚本, 无论怎么做, 其实都挺折腾的, 不是吗?..., 16G -> 6G, 32G -> 8G
workder 01 - 02 Worker 1 cores, 16G -> 4G, 32G -> 5G
如果只有 8G 内存, 建议去下载 Cloudera