首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Storm0.9.0.1升级安装

Storm0.9.0.1升级安装

作者头像
星哥玩云
发布2022-06-30 18:57:43
发布2022-06-30 18:57:43
3690
举报
文章被收录于专栏:开源部署开源部署

1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

2,安装就jdk,Python,zookeeper  在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上

3,解压,修改conf下的storm.yaml

storm.zookeeper.servers:     - "192.168.1.1"     - "192.168.1.2"     - "192.168.1.3"

 nimbus.host: "192.168.1.10"  storm.local.dir: "/data/storm/work"  supervisor.slots.ports:     - 6700     - 6701     - 6702     - 6703  storm.messaging.transport: "backtype.storm.messaging.netty.Context"   storm.messaging.netty.buffer_size: 209715200   storm.messaging.netty.max_retries: 100   storm.messaging.netty.max_wait_ms: 1000   storm.messaging.netty.min_wait_ms: 100  logviewer.port: 80

4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started 2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started

或者如下错误

2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker Java.io.IOException: No such file or directory

把这些错误日志前面的执行语句拿出来看一下就明白了

为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报,这个自己找找吧,我是把0.8.1下面的log4j  拷贝过来的

不得不说,storm的升级对日志的支持很乱

4,分发配置好的storm,到192.168.1.10,192.168.1.12,192.168.1.13,并在三台服务器上创建/data/storm/work给足够的写权限

5,启动

  192.168.1.10

  #启动storm nimbus进程   nohup storm nimbus &   #启动storm ui监控界面进程   nohup storm ui &

  192.168.1.12,192.168.1.13

  #启动storm supervisor进程 nohup storm supervisor & #启动storm 日志监控进程。启动该进程,可以在storm ui界面上看各个supervisor节点上日志 nohup storm logviewer &

6,show time

      http://192.168.1.10:8080/

      storm  jar **.jar  ATopology  跑一个top看看效果

    下面可以看具体work的日志

      http://192.168.1.12/log?file=worker-6701.log

7,资源分配不爽

    storm rebalance ATopology -n 10  修改个ATopology 的workers玩玩

    storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

安装到此为止!

4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档