大家好,许久没更新了,这段时间忙着换工作和交接过度(对,换工作了);另一方面,这段时间试着搭建了一下分布式集群,本来打算跟大家详细分享一下,由于是零基础,中间还有好多没弄清楚,所以先简单分享几种安装思路:
搭建Hadoop、Spark分布式集群,前面的几步一样:
之后:
你可以纯手动来安装、利用Ambari半自动安装、或者利用CDH安装
1. 手动安装
这里面涉及了linux下的软件安装、环境配置添加/修改等等。分享一个教程,非常适合零基础:http://down.51cto.com/zt/6876/1
2. Ambari半自动安装
分享的教程是:http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/
3. CDH 自动安装
先下载CDH,下载之后执行,基本就是全自动安装。但是之前要做几个配置,比如关闭防火墙,设置SELINUX=disabled等,分享的教程是:http://www.cnblogs.com/Nervermore/p/4994309.html
4. 其他
hadoop docker cluster:https://github.com/kiwenlau/hadoop-cluster-docker
并没有尝试过。
由于我也是零基础的初学者,只能分享分享搜集的资料,欢迎大家交流,求老司机带带路
(手动安装datanode始终没能开启、ambari安装卡在web页面的comnfirm host,提示ambari agent host cannot reach ambari server '<主机名>:8080')