前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Storm篇】--Storm从初始到分布式搭建

【Storm篇】--Storm从初始到分布式搭建

作者头像
LhWorld哥陪你聊算法
发布2018-09-13 14:07:34
3280
发布2018-09-13 14:07:34
举报

一、前述

Storm是一个流式处理框架,相比较于SparkStreaming是一个微批处理框架,hadoop是一个批处理框架。

二 、搭建流程

1.集群规划

         Nimbus    Supervisor   Zookeeper node01      1                                 node02                 1                      1 node03                 1                      1

node04                 1                      1

2.配置

node01作为nimbus。  vim conf/storm.yaml

storm.zookeeper.servers:
  - "node02"
  - "node03"
  - "node04"

storm.local.dir: "/tmp/storm"

nimbus.host: "node01"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
PS:supervisor.slots.ports 相当于启动4个worker进程
配置一定要顶格写!!!!!!!
3.创建log文件
在storm目录中创建logs目录
 mkdir logs启动ZooKeeper集群
4.启动服务
node1上启动Nimbus
 ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
 tail -f logs/nimbus.log
 ./bin/storm ui >> ./logs/ui.out 2>&1 &
 tail -f logs/ui.log

节点node02和node03,node04启动supervisor,按照配置,每启动一个supervisor就有了4个slots
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
 tail -f logs/supervisor.log
(当然node1也可以启动supervisor)

http://node1:8080/
提交任务到Storm集群当中运行:
 ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

环境变量可以配置也可以不配置
export STORM_HOME=/opt/sxt/storm
export PATH=$PATH:$STORM_HOME/bin
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-01-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档