集群搭建
目标
能够通过自动化脚本部署一个集群
步骤
为企业设计一个规模合适的集群
企业中部署和管理集群的工具
自动创建虚拟机
自动化部署服务
1....出去的数据可能要汇总一下, 才能流入 reduceByKey
得出结论, 如果计算 260G 的数据, 和计算 60G 的数据, 所需要的内存确实不一样, 有 Shuffle 的情况下要稍微多一些才行
那么, 如何设计集群规模...集群部署出来以后, 可能会出错, 如何运维
集群部署出来以后, 可能配置文件要修改, 难道再在所有节点修改一遍吗?...使用 Vagrant 整合 Ansible
Ansible 是一个非常知名的自动化运维工具, 不仅仅只是为了搭建测试环境, 在测试环境和正式环境中, 其应用都很广泛, 先来看看在正式环境中该如何使用 Ansible...中标示的机器上运行
ansible-playbook --inventory-file=/vagrant/inventory -v /vagrant/playbooks/cdh_cm.yml
明白了如何在正式环境使用