Hadoop和Zookeeper安装过程中出现的问题解决

概述

我最近在搭建一套大数据生态系统,安装分布式Hadoop和Zookeeper时出现了一些问题。我的分布式环境是由三个节点构成的,分比为:master,slave1和slave2。安装过程在后面文章里面列出来,这里记录一些安装之后启动Hadoop和Zookeeper出现的问题。

问题一

Hadoop2.2.0 不能访问站点http://master:8088 1.可能由于安装的资源管理器正在运行,通过资源管理器占用使用TCP6代替TCP。这样的话可以通过两种方式来解决它:

  • 在linux上禁用IPV6,然后重启yarn服务。
  • 在master节点修改yarn-site.xml增加如下内容,<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <configuration>

不要修改其它slave节点的yarn-site.xml,修改完后重启服务。 2.也可以通过0.0.0.0来代替hostname.

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

问题二

在安装完zookeeper时,启动zookeeper会出现java.net.ConnectException: Connection refused错误。我通过改变master的如下配置的:

server.1=0.0.0.0:2888:3888
server.2=192.168.10.10:2888:3888
server.3=192.168.2.1:2888:3888

如果你基于公开地址发布IP,然后监听端口失败,必须指定当前端口为:0.0.0.0

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏牛肉圆粉不加葱

Spark - 图解 Broadcast 工作原理

Broadcast 是 Spark 常用的特性,本文不打算介绍什么是 Broadcast 及如何使用它,只希望能以下面这张图对 Broadcast 的基础知识和...

1813
来自专栏别先生

Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)

1、Hadoop的主要应用场景:   a、数据分析平台。   b、推荐系统。   c、业务系统的底层存储系统。   d、业务监控系统。 2、开发环境:Linux...

5454
来自专栏我是攻城师

分布式日志收集之Logstash 笔记(一)

3516
来自专栏Hadoop实操

如何通过CM迁移Zookeeper服务

在使用CDH集群过程中由于角色划分不合理或Zookeeper服务所在节点压力大等问题,需要对Zookeeper服务做迁移等操作。本篇文章Fayson主要介绍如何...

3324
来自专栏闵开慧

ubuntu中配置hadoop

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

3309
来自专栏Angular&服务

ionic3 在app首页跳转重定向报错

2502
来自专栏nice_每一天

excel导出使用get请求参数过长问题

excel导出功能时,使用的是window.location.href=url也就是get请求。当传入参数过长的时候就报了414,地址过长的错误。

1832
来自专栏行者悟空

Redis-3.x集群安装(三主三从)

5163
来自专栏葡萄城控件技术团队

如何在ASP.NET中生成HTML5离线Web应用

传统的Web应用程序有一个很大的症结是当用户的网络连接不好时,应用会加载失败,为了 解决这一问题,HTML5中引入了Web的离线工作的功能。离线功能使得Web应...

2266
来自专栏杨建荣的学习笔记

Oracle主备架构下的逻辑备份考虑

今天想到一个问题,如果有一个环境是一主一备架构,根据业务需要做逻辑备份,该怎么规划和考虑。数据库版本为10g,11g ? 这个问题如果在考虑性能的前提下,我...

3605

扫码关注云+社区

领取腾讯云代金券