首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结

Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结

作者头像
用户1410343
发布2018-03-27 10:22:17
1.2K0
发布2018-03-27 10:22:17
举报
文章被收录于专栏:about云about云

问题导读 1.你认为Hadoop集群的搭建有什么共同点? 2.低版本升级高版本,你是如何操作的? Hadoop集群的搭建除了Hadoop1与Hadoop2的集群搭建有所区别之外,Hadoop2集群的搭建大部分都是相似的。 1.需要安装ssh,达到无密码互通 无密码互通,很多这里都遇到了问题,这里提供两篇帖子。 linux(ubuntu)无密码互通、相互登录高可靠文档 CentOS6.4之图解SSH无验证双向登陆配置 2.修改hostname hostname有临时修改于永久修改,详细见 ubuntu修改hostname 3.安装JDK 参考 linux(ubuntu)安装Java jdk环境变量设置及小程序测试 4.配置环境变量、例如path、classpath、Java_home等 环境变量中有的是必须的、有的是为了操作方便、Hadoop path可以配置,这样使用命令更加的方便 5.配置网络: 包括联通外网、防火墙关闭 联通外网可以参考下面贴子 虚拟机三种网络模式该如何上网指导 6.Hadoop配置文件 1.配置文件一般配置如下三个文件: core-site.xml、hdfs-site.xml、mapred-site.xml、 Hadoop2,还需要配置yarn-site.xml 2.对于分布式、伪分布区别的一个重要切简单的配置文件slaves 如果是完全分布则需要修改slaves 除了上面,我们还需要配置hadoop-env.sh、yarn-env.sh 还有根据配置文件、建立文件夹

集群完全分布于伪分布的区别 伪分布与完全分布环境都是差不多的,伪分布搭建完毕,我们需要将同样的Hadoop文件复制到其他节点即可。 除了最基本的环偶境例如,都需要配置jdk,其他大部分环境不需要配置。 然后我们修改slaves 伪分布就能变成完全分布。 当然根据自己的情况,还有些细节,需要自己去搭建集群慢慢体会

通过上面我们可以看出,如果我们在原有的环境的基础上搭建更高更高版本的Hadoop, 我们有两种选择 1.直接采用升级的方式 升级的方式,可以参考 hadoop_线上升级步骤 hadoop 1.0.3 升级到 2.4.0 or 2.4.1 2.替换配置文件、重新初始化目录(这个只适用于同版本) 例如你的环境是Hadoop2.2、2.4等,升级为Hadoop2.5,你该如何操作,这里以伪分布为基础。 (1)我们下载解压Hadoop2.5.0 (2)将原先的Hadoop重命名Hadoop-back (3)将Hadoop2.5重名为Hadoop(也就是你之前Hadoop文件夹的名字) (4)替换配置文件 (5)将Hadoop的临时目录及Hadoop datanode目录清除里面的内容即可。

<property>

               <name>hadoop.tmp.dir</name>

               <value>file:/home/aboutyun/tmp</value>

               <description>Abase for other temporary   directories.</description>

       </property>
<property>

               <name>hadoop.tmp.dir</name>

               <value>file:/home/aboutyun/tmp</value>

               <description>Abase for other temporary   directories.</description>

       </property>

(6)格式化namenode,这时候我们的最新的集群就可以使用了。 对于从未搭建过集群的朋友、可以参考hadoop2.2完全分布式最新高可靠安装文档,来搭建Hadoop2.5,配置文件,可以完全挪用。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 About云 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云开发 CloudBase
云开发(Tencent CloudBase,TCB)是腾讯云提供的云原生一体化开发环境和工具平台,为200万+企业和开发者提供高可用、自动弹性扩缩的后端云服务,可用于云端一体化开发多种端应用(小程序、公众号、Web 应用等),避免了应用开发过程中繁琐的服务器搭建及运维,开发者可以专注于业务逻辑的实现,开发门槛更低,效率更高。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档