首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop和Zookeeper安装过程中出现的问题解决

Hadoop和Zookeeper安装过程中出现的问题解决

作者头像
吕海峰
发布2018-04-03 15:40:10
6290
发布2018-04-03 15:40:10
举报
文章被收录于专栏:BrianBrian

概述

我最近在搭建一套大数据生态系统,安装分布式Hadoop和Zookeeper时出现了一些问题。我的分布式环境是由三个节点构成的,分比为:master,slave1和slave2。安装过程在后面文章里面列出来,这里记录一些安装之后启动Hadoop和Zookeeper出现的问题。

问题一

Hadoop2.2.0 不能访问站点http://master:8088 1.可能由于安装的资源管理器正在运行,通过资源管理器占用使用TCP6代替TCP。这样的话可以通过两种方式来解决它:

  • 在linux上禁用IPV6,然后重启yarn服务。
  • 在master节点修改yarn-site.xml增加如下内容,<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <configuration>

不要修改其它slave节点的yarn-site.xml,修改完后重启服务。 2.也可以通过0.0.0.0来代替hostname.

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

问题二

在安装完zookeeper时,启动zookeeper会出现java.net.ConnectException: Connection refused错误。我通过改变master的如下配置的:

server.1=0.0.0.0:2888:3888
server.2=192.168.10.10:2888:3888
server.3=192.168.2.1:2888:3888

如果你基于公开地址发布IP,然后监听端口失败,必须指定当前端口为:0.0.0.0

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-06-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 概述
    • 问题一
      • 问题二
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档