我喜欢学习Hadoop多节点的设置和安装,通过参考上面的教程,我了解到单节点集群环境可以用作多节点集群的节点
http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/
目前我正在学习使用Horton沙箱的Hadoop,我们可以使用沙箱系统作为单节点环境吗?
若否,沙箱与传统Hadoop群集安装有何不同
发布于 2014-11-10 16:16:30
沙箱镜像(来自Hortonworks和Cloudera)为用户提供了一个预配置的开发环境,其中包含所有已安装和可用的常用工具(pig、hive等)。由于映像是一个单一的“系统”,因此它的设置使得hadoop集群是单节点的:即所有内容- HDFS、Hadoop map-reduce等-都是该映像的本地映像。这是一个巨大的好处,任何建立过hadoop集群的人都会告诉您!它允许您以非常少的操作开销启动和运行。
然而,这些沙箱没有提供真实的集群行为,因为您只有一个节点。但是还有其他的可能性--比如Vagrant和Docker --可以让你做到这一点(我自己还没有试过)。
您共享的大数据处理程序链接似乎是关于将几个独立的、固有的单节点“集群”组合在一起,以便您拥有更现实的东西。但我猜,设置这样的服务,使得YARN、Zookeeper和其他服务不会被重复,这是一个不小的挑战。
https://stackoverflow.com/questions/26839297
复制相似问题