使用Ambari安装hadoop集群

      最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI,可以部署、管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。

      安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories和http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.0.0/bk_Installing_HDP_AMB/bk_Installing_HDP_AMB-20151221.pdf,大家也可以直接参考这两篇文章来进行安装,其余的一些细节我直接写在本文里。

  安装Ubuntu服务器,在这里就不做说明了,目前比较合适的版本应该是14.04,可以直接在官网上下载然后用u盘做个启动盘,直接安装即可。

  安装集群主要分以下几步: 1、安装ambari(参考https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories) cd /etc/apt/sources.list.d sudo wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.0.0/ambari.list sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD sudo apt-get update sudo apt-get install ambari-server sudo ambari-server setup sudo ambari-server start 可以先设置下一步的root用户,这样不需要sudo 2、启用root用户 sudo passwd root 输入密码 然后 sudo vim /etc/ssh/sshd_config 注释掉PermitRootLogin with。。。 添加PermitRootLogin yes 然后重启服务 sudo service ssh restart 3、配置hosts vim /etc/hosts 添加 192.168.1.201   host01 192.168.1.202   host02

注意不要删除以下两行,否则会出问题

127.0.0.1       localhost

::1     localhost ip6-localhost ip6-loopback

每台服务器上均需要设置

4、配置静态IP、DNS

vim /etc/network/interfaces

修改成如下格式

auto lo  

iface lo inet loopback  

auto eth0  

iface eth0 inet static  

address 192.168.2.101  

netmask 255.255.255.0  

gateway 192.168.2.1   

dns-nameservers 111.111.111.111

5、配置ntp(时间同步服务器) apt-get install ntp  每台服务器上均需要安装 6、免密码登陆 server 到 客户端 ssh-keygen -t rsa ssh-copy-id -i host01 ssh-copy-id -i host02 将root/.ssh/id_rsa下载到本地,以供上传 7、禁用Transparent Huge Pages Edit the grub configuration file present in /etc/default/grub and add transparent_hugepage=never to the GRUB_CMDLINE_LINUX_DEFAULT if other options are already present in this line then simply put a space and transparent_hugepage=never GRUB_CMDLINE_LINUX_DEFAULT=”transparent_hugepage=never” Save and then on the terminal run “sudo update-grub”

每台服务器上均需要设置 8、配置注意事项 填写hostname的时候直接写host host001

host002

其余均按照自己需求选择

本文介绍的是Ubuntu服务器,如果需要在其他平台中安装,只需要简单修改即可。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏菩提树下的杨过

老生常谈:利用Membership实现SSO(单点登录)

虽然有一些现成的第三方解决方案比如:OpenID,Passport,SpaceCard等都还不错,但是要么就是收费的(passport),要么就是有点用不习惯(...

2005
来自专栏NetCore

Catalog Service - 解析微软微服务架构eShopOnContainers(三)

上一篇我们说了Identity Service,因为其基于IdentityServer4开发的,所以知识点不是很多,今天我们来看下Catalog Service...

2928
来自专栏杨建荣的学习笔记

聊聊Data Guard中的DG Broker(r10笔记第24天)

DG Broker是Oracle为Data Guard维护提供的一个很不错的工具,从我的实际使用来看,早期的版本中似乎大家都还是存在一定的思维定式,认为手工维护...

2884
来自专栏H2Cloud

支持插件的消息中间件【msg broker with plugin】

支持插件的消息中间件 msg broker with plugin Msg Broker概念: msg broker是实现application 之间互通讯的组...

5196
来自专栏FreeBuf

解码Gh0st RAT变种中的网络数据

在今年3月份的一次取证调查中,我们找回了一些文件。经过我们初步的判定,这些文件极有可能与一个知名组织Iron Tiger有关。

1353
来自专栏眯眯眼猫头鹰的小树杈

vue-cli的项目结构

这篇文章对纯新手友好,所以有过任何vue开发经验的人可以出门左转啦!这篇文章献给我的homie苏蕾儿童鞋,让她在学习vue项目的时候少走一点弯路(径直冲向末路哈...

2144
来自专栏杨建荣的学习笔记

一次数据库无法登陆的问题及排查 (r3笔记第99天)

今天在中午的时候,收到客户的邮件,说数据库访问有问题了,赶紧连到生产环境查看。 结果在尝试登录的时候报了listener的错误,感觉像是listener停了一样...

3095
来自专栏FreeBuf

在你的内网中获得域管理员权限的五种方法

早在2013年9月,蜘蛛实验室( Spider Labs)就发表过一篇题为“SpiderLabs在你内网中获取域管的五大方式”的文章。这篇文章是我继该文的,应该...

2015
来自专栏信安之路

网络安全渗透测试

针对网络的渗透测试项目一般包括:信息收集、端口扫描、指纹识别、漏洞扫描、绘制网络拓扑、识别代理、记录结果等。下面就一一介绍。

1750
来自专栏FreeBuf

开源版ZoomEye:基于Python的网络侦查框架 – IVRE

IVRE(又名DRUNK)是一款网络侦查框架,包括两个基于p0f和Bro的被动侦查模块和一个基于Nmap&Zmap的主动侦查模块,其功能类似于国内知道创宇公司推...

3217

扫码关注云+社区