前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >由主节点配置从节点从而构建集群

由主节点配置从节点从而构建集群

作者头像
ZONGLYN
发布2019-08-08 11:41:19
7300
发布2019-08-08 11:41:19
举报
文章被收录于专栏:程序萌部落程序萌部落
主节点

改名字,改为master,hosts 改hadoop的slaves加四个xml slaves是加一个节点就要改一次

从节点
  1. 新建hadoop用户,修改权限,赋予权限 ALL =…
  2. 改好主机名,按node01 node02……规则
  3. 配好ssh,保证可以通信 关防火墙,iptables stop 关selinux 自ssh可以,主对从可以免密ssh
  4. 用scp传jdk和hadoop到从节点的tmp目录下 可能会出现权限问题,使用tmp目录则不要紧,文件夹权限问题
  5. 配jdk和hadoop的环境变量 新建一个java目录,如usr/local/java,将之放入,hadoop同理 改./bashrc添加路径 改./etc/profile添加路径 source文件 重载刷新 检查:直接java和hadoop回显相关信息
  6. 配置hadoop 改五个文件,特别注意,从主节点cp过来的hadoop是已经配好的,无需动 slaves仍然要改 检测: reboot start-all.sh hadoop dfsadmin -report显示正确 jps主从点显示正常进程 要关闭安全模式 dfsadmin safemode leave
  7. 运行实例 在hdfs新建一个文件夹 构造一个input输入文件夹带数据 运行hadoop文件夹中share里的用例 在hdfs中ls output get output到本地再查看内容 完成
  8. 其他配置 zookeeper hbase hive pig mahout sqoop flume Ambari 此部分配置spark,依附于hadoop集群
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-02-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 主节点
  • 从节点
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档