Storm集群搭建的错误分析

第一时间关注程序猿(媛)身边的故事

首先 storm 集群的搭建不再赘述, 网上有很多, 在此推荐一个:

http://blog.csdn.net/lzm1340458776/article/details/45370381

这个是一个写的不错的, 或者说比较详细的搭建步骤, 不过里面有一些坑没有填, 也可能是我遇到了, 在此提出几个搭建过程中遇到问题的解决方案, 给大家参考:

1.java .net .ConnectException

这是第一个错误, 因为目前已经测试成功, 所以就以日志的方式记录错误, 查看日志使我们开发人员必须要会的技能。

解析:一般来说这个问题就是我们的 zookeeper 出了问题, 这个是之前在搭 zookeeper 集群的时候, 二号机出了问题:

搭建好 zookeeper 的集群之后一定要先启动测试一下, 并查看每一台的 status, 确保 zookeeper 集群不要有问题。

查看状态的命令是:

../bin/zkServer.sh status

2.java.net.NoRouteToHostException

这个问题相信大家应该能很容易的发现, 还是 kafka 连接 zookeeper 失败了

这里有两个点, 还是比较简单, 但是也容易写错:

一号机:

二号机:

Zookeeper.connect 是一样的, 三号机不写了, 区分 host.name 就行。

3.拒绝连接

这个问题也是难住我了, 搜了很多资料没找到解决方案, 我简单总结一些之前的老师傅们的解决方案:

(1)关闭防火墙

可是我的电脑是 centos7,firewall 原则上不会影响, 而且默认也是关闭的, 所以这一解决方案对我来说没用了;

(2)有个老司机师父说是 zookeeper 配置了其他机器的信息, 我用的就是 zookeeper 集群啊, 当然要配其他机器的信息, 这和 storm 集群没什么冲突啊, 所以我按照他的方案试了一下, 依然没有解决问题;

(3)我自己的解决方案了

这里要谢谢 captain_hwz 这位老师傅了, 并不是说他告诉我怎么样解决这个问题, 而是他也写了一篇搭建 storm 集群的文档, 然后里面恰巧有这么一句话

这句话我看了好多篇搭建的文章都没有找到, 所以一直没有注意, 因为我在实验阶段, 没有这句话也能连接上 (虽然报错了)

所以秘密就在这解开了, 把每一台服务器上的 storm.yaml 都复制一份到/root/.storm/storm.yaml, 这样的话, 项目启动就完美运行了, 上证物:

最终

写在最后:如果上述问题都已经解决了还是没有能够正常启动, 建议关闭 storm 集群及 storm-ui, 然后依次开启 storm-nimbus,storm-supervisor(1),storm-supervisor(2),storm-ui, 注意速度不要太快, 等每一个启动成功再进行下一个步骤, 因为涉及到系统性能的问题 (我电脑配置一般,cpu 不太给力), 所以说要考虑硬件原因.

说到这, 祝大家能顺利搭建成功, 在大数据处理上再迈出一步!

本文来自企鹅号 - 程序人生媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏aoho求索

基于可靠消息方案的分布式事务:Lottor介绍

2532
来自专栏马洪彪

应用系统数据删除与恢复

1192
来自专栏熊训德的专栏

Hbase Replicaition 在腾讯云中应用概述

Hbase 的 Repliation 是通过 Zookeeper 的协助,从 Master 集群异步往 Slave 集群写 WAL 实现的。可以实现典型的 Ma...

7795
来自专栏数据之美

根据ip查找ISP运营商和归属地的几种方法

一般来说都是根据网上流传的各种IP库来解析获取对应的ISP和归属地的, 除非有实力的公司自己从运营商获取数据,然后做数据分析得到。 下面介绍前者,如何...

2.2K10
来自专栏BeJavaGod

nginx + fastDFS - 单机图片服务器解决方案

最近经常有人问图片上传怎么做,有哪些方案做比较好,也看到过有关于上传图片的做法,但是都不是最好的 ? 今天再这里简单讲一下上传图片以及图片服务器的大致理念(正式...

5746
来自专栏月色的自留地

mac电脑进行可见光通信实验要点

1136
来自专栏王磊的博客

C# 调用IP库(QQWry.Dat)查询IP位置及自动升级IP库方法(附IP库下载地址及相关dll下载)

前言 C# 用IP地址(123.125.114.144)查询位置(北京市百度公司)的东西,非常好用也非常方便,可手动升级刷新IP库,一次编码永久收益,可支持wi...

57710
来自专栏资深Tester

你会搭建测试环境吗?

4.3K5
来自专栏Python中文社区

如何构建爬虫代理服务?

如何构建爬虫代理服务 专栏作者:Kaito 起因 做过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,免不了触发网站的防爬机制,几乎用的同一招就是...

38010
来自专栏Web 开发

给Twentyfifteen提速

Twentyfifteen默认加载了Google Fonts,但国内的这大局网,会导致无法加载,从而影响整个阻塞整个页面的渲染。

860

扫码关注云+社区

领取腾讯云代金券