大数据技术火热而且火爆,学习大数据的课程和资料也泛滥如潮,而大数据研发环境又不是随便就可以搭建起来的,如何有一个自己随时可用的大数据修炼道场呢?
网上有很多hadoop单机版的搭建教程,但大多是基础组件,如果想窥探Hadoop 的整个生态系统,并建立一个人的大数据环境,从而修炼大数据的各种技术,我觉得非 HDP 的Sandbox 莫属了。
HDP 的Sandbox 是一个基于虚拟机的单节点hadoop集群,相当于一个伪分布式环境,学习和使用都非常的轻松便捷。虚拟机既支持VMware也支持VirtualBox,完全可以在windows和mac 上无缝执行,需要注意的是需要64位的主机多核cpu并支持虚拟化。
以virtualbox为例,三步,只需三步,就可以搭建自己修炼大数据技术的环境了。
1)先去下载安装virtualbox,https://www.virtualbox.org/wiki/Downloads,选好自己的所需的版本,下载安装。
2)下载HDP sandbox,http://hortonworks.com/products/hortonworks-sandbox/#install,选择virtual box 版本即可,文件较大,接近9个G,要有耐心。
3)启动Virtualbox,倒入HDP sandbox镜像,import 完成后如下图:
忽略那个abel的ubantu镜像,启动HDP sandbox 即可。 从Ambri开始,就可以逐渐走进Hadoop 的ecosystem 了。