首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

有没有办法告诉Storm Nimbus在特定的supervisor中启动拓扑?

在特定的supervisor中启动Storm Nimbus拓扑的方法是通过配置supervisor.slots.ports属性来实现。Storm Nimbus是Storm集群的主节点,负责接收拓扑提交请求并将其分配给supervisor节点执行。每个supervisor节点负责运行一定数量的worker进程来执行拓扑。

要在特定的supervisor中启动拓扑,需要进行以下步骤:

  1. 配置supervisor.slots.ports属性:在Storm配置文件storm.yaml中,可以指定每个supervisor节点可用的端口范围。例如,可以设置supervisor.slots.ports属性为6700, 6701, 6702,表示该supervisor节点可用的端口范围是6700到6702。
  2. 编写拓扑配置文件:创建一个拓扑配置文件,指定拓扑的组件和它们之间的连接关系。拓扑配置文件可以使用Java、Python或其他支持的编程语言编写。
  3. 提交拓扑:使用Storm命令行工具或编程接口,将拓扑提交给Storm Nimbus。在提交拓扑时,可以指定拓扑所需的资源和配置信息,包括指定拓扑在哪个supervisor节点上运行。
  4. 指定supervisor节点:在提交拓扑时,可以使用--supervisor-assignment参数指定拓扑运行的supervisor节点。例如,可以使用--supervisor-assignment 6700参数将拓扑分配给端口号为6700的supervisor节点。
  5. 启动拓扑:提交拓扑后,Storm Nimbus将根据指定的supervisor节点分配拓扑,并在该supervisor节点上启动拓扑的worker进程。拓扑将开始在指定的supervisor节点上运行。

需要注意的是,以上步骤仅适用于Storm框架中的拓扑启动过程,与具体的supervisor实现无关。对于不同的云计算平台或部署环境,可能存在不同的配置和启动方式。在腾讯云的环境中,可以参考腾讯云Storm产品文档(https://cloud.tencent.com/document/product/272/9643)了解更多关于Storm拓扑的配置和启动方法。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

什么是Storm,它可以用来做什么?

Supervisor:监听分配给它那台机器工作,根据需要启动/关闭工作进程Worker。每一个要运行Storm机器上都要部署一个,并且,按照机器配置设定上面分配槽位数。...zookeeper:Storm重点依赖外部资源。NimbusSupervisor甚至实际运行Worker都是把心跳保存在Zookeeper上。...Topology:storm运行一个实时应用程序,因为各个组件间消息流动形成逻辑上一个拓扑结构。...整体物理布局 放一张Nimbus和Supervisior关系图 数据处理流程 Topology是一个完成数据处理流程,Nimbus提交jar,然后Nimbus分发到Supervisior,Sport...2、大数据实时统计 互联网数据量是海量时候,没有办法在数据库层面直接SQL来进行统计,需要对于产生数据,进行二次加工,然后产出结果,正好把实时变化数据流到storm处理一遍。

2K50

实时可靠开源分布式实时计算系统——Storm

为了发挥Storm可靠性,需要你创建一个元组树一条边时告诉Storm,也需要在处理完每个元组之后告诉Storm。这些都是通过Bolt吐元组数据用OutputCollector对象来完成。...标记是emit函数里完成,完成一个元组后需要使用Ack函数来告诉Storm。 10) Workers 拓扑以一个或多个Worker进程方式运行。...2) 从节点(SupervisorStorm集群上有多个从节点,他们从Nimbus上下载拓扑代码,然后去真正执行。Slave上Supervisor进程是用来监督和管理实际运行业务代码进程。...例如Supervisor启动时,会在ZooKeeper上注册,Nimbus就可以发现SupervisorSupervisorZooKeeper上留下心跳信息,Nimbus通过这些心跳信息来对Supervisor...当一个worker挂掉,supervisor会重启它。如果启动一直失败那么此时worker也就不能和Nimbus保持心跳了,Nimbus会重新分配worker到其他机器。

2K60

StormStorm之what

启动Worker) - Worker(特定Topology进程) - Executor(特定Task线程) - Task(Spout/Bolt实例) 不会出现一个worker进程为多个topology...不建议为每个拓扑在每台机器上分配超过一个worker。而应该改为一台机器上分配多个线程,而不是一台分配多个进程来提高并行度。...箭头3表示SupervisorZooKeeper创建路径是/storm/supervisors/。新节点加人时,会在该路径下创建一个节点。...Nimbus会尽量保持任务分配稳定性。 箭头9表示Supervisor会从LocalState获取由它启动所有Worker心跳信息。...需要注意是,NimbusTopology被提交时只会创建路径/storm/workerbeats/,而不会设置数据,数据则留到Worker启动之后由Worker创建。

69931

一脸懵逼学习Storm搭建--(一个开源分布式实时计算系统)

节点所在服务器 nimbus.host: "storm01" #指定nimbus启动JVM最大可用内存大小 nimbus.childopts: "-Xmx1024m" #指定supervisor启动JVM...启动storm nimbus主机上,nimbus.host所属机器上启动 nimbus服务:   nohup ..../storm nimbus 1>/dev/null 2>&1 & 或者使用命令:nohup ./storm nimbus &nimbus.host所属机器上启动ui服务:   nohup ....可以启动一下stormui查看: ? 查看一下进程如: ? 启动ui以后可以浏览器访问,如: ? 启动supervisor [root@slaver1 bin]# ....这是个很强大命令。比如,你向一个运行集群增加了节点。再平衡命令将会停用拓扑,然后相应超时时间之后重分配工人,并重启拓扑

1.3K60

Storm介绍及原理

* 此方法告诉Storm当前组件会发射哪些数据流,每个数据流tuple包含哪些字段。...* 此方法告诉Storm当前组件会发射哪些数据流,每个数据流tuple包含哪些字段。...集群topology如下四个级别存在并发: 1.Nodes     服务器:配置Storm集群一个服务器,会执行Topology一部分运算,一个Storm集群包含一个或者多个Node...nimbus记录所有的supervisor节点状态和分配给他们task,如果nimbus发现某个supervisor没有上报心跳或者已经不可达了,他将会将故障supervisor分配task重新分配到集群其他...supervisor和worker都是运行在不同JVM进程上,如果supervisor启动worker进程因为错误异常退出,supervisor将会尝试重新生成新worker进程。

4.9K80

Storm——分布式实时流式计算框架

即,由一系列通过数据流相互关联Spout、Bolt所组成拓扑结构 生命周期:此拓扑只要启动就会一直集群运行,直到手动将其kill,否则不会终止 (区别于MapReduce当中Job,MR当中.../bin/storm --help 下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer ##错误信息放到标准输入, $ ....节点node2和node3启动supervisor,按照配置,每启动一个supervisor就有了4个slots $ ./bin/storm supervisor >> ....Worker – 进程 一个Topology拓扑会包含一个或多个Worker(每个Worker进程只能从属于一个特定Topology) 这些Worker进程会并行跑集群不同服务器上,即一个...如果启动过程仍然一直失败,并且无法向Nimbus发送心跳,Nimbus会将该Worker重新分配到其他服务器上 Supervisor 无状态(所有的状态信息都存放在Zookeeper来管理)

4.9K20

Twitter Storm 集群搭建

(配置) StormSubmitter/LocalCluster(拓扑提交器) Storm集群部署 Storm集群架构: 如图: image.png Storm集群里面有两种节点:控制节点和工作节点...控制节点上面运行一个叫Nimbus进程,Nimbus负责集群里面分发代码,分配计算任务,并且监控状态。 每一个工作节点上面运行一个叫做Supervisor进程。...Supervisor负责监听从Nimbus分配给它执行任务,据此启动或停止执行任务工作进程 NimbusSupervisor之间所有协调工作都是通过Zookeeper集群完成。...然后storm.yaml配置该目录,如: storm.local.dir: "/usr/storm/workdir" 分别启动三台机器 master:到stormbin目录下 ..../logs/su.log 2>&1 & (启动后台进程,并把正确和错误信息输出到该文件) master上启动UI管理界面 .

36310

大数据入门:Storm基础讲解

Storm核心概念 要学习Storm,我们先从Storm几个核心概念开始讲起—— 无标题112.jpg Topology(拓扑):Storm,分布式计算结构被称为一个拓扑,它由流数据(Stream...Tuple:Storm核心数据结构,是一个简单键值对数据,每条数据都会被封装在tuple多个spout和bolt之间传递。...Storm集群架构 通常来说,Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关信息存储到ZooKeeper集群。...Supervisor Storm集群从节点,负责管理运行在Supervisor节点上每一个Worker进程启动和终止。 Worker 运行具体处理组件逻辑进程。...ZooKeeper 用来协调NimbusSupervisor,如果Supervisor因故障出现问题而无法运行Topology,Nimbus会第一时间感知到,并重新分配Topology到其它可用Supervisor

85200

Storm极简教程

资源 TopologyBuilder: 使用这个类来Java创建拓扑 在生产集群运行拓扑 本地模式: 通过阅读这篇可以学习到如何在本地模式下进行拓扑开发和测试 元组(Tuple) 元组是Storm...为了发挥Storm可靠性,需要你创建一个元组树一条边时告诉Storm,也需要在处理完每个元组之后告诉Storm。这些都是通过Bolt吐元组数据用OutputCollector对象来完成。...标记是emit函数里完成,完成一个元组后需要使用ack函数来告诉Storm。 Workers(工作进程) 拓扑以一个或多个Worker进程方式运行。...supervisor同步时,会根据新任务分配情况来启动worker或者关闭旧worker并进行负载均衡。.... supervisor定期获取任务分配信息,如果topology代码缺失,会从nimbus下载代码,并根据任务分配信息,同步worker. worker根据分配tasks信息,启动多个executor

1.9K50

storm流式处理框架

Storm部署管理非常简单,而且,同类流式计算工具,Storm性能也是非常出众Storm主要分为两种组件NimbusSupervisor。这两种组件都是快速失败,没有状态。...如果,业务场景需要低延迟响应,希望秒级或者毫秒级完成分析、并得到响应,而且希望能够随着数据量增大而拓展。那就可以考虑下,使用Storm了。...安装完成 storm系统由一个nimbus节点和多个supervisor节点组成,上面因为是部署单机版本,所以只启动了一个supervisor。...上面配置文件配置supervisor.slots.ports包含了4个port,也就是这个supervisor可以监听4个端口同时并发执行4个任务,因此web界面里我们看到Free slots是...4 map-reduce系统上运行任务我们叫做mapper和reducer,相对之下,storm上运行任务叫做spout(涛涛不绝地喷口)和bolt(螺栓),拓扑里传递消息叫做tuple。

93450

Apache Storm使用

每一个工作进程执行一个Topology子集;一个运行Topology由分布不同工作节点上多个工作进程组成 NimbusSupervisor 节点之间所有的协调工作是通过 Zookeeper...此外,NimbusSupervisor 进程都是快速失败(fail-fast)和无状态(stateless)Storm 集群所有的状态要么 Zookeeper 集群,要么存储本地磁盘上。...以下是启动Storm各个后台进程方式: Nimbus: Storm主控节点上运行 nohup storm nimbus & 启动Nimbus后台程序,并放到后台执行; Supervisor: Storm...各个工作节点上运行nohup storm supervisor & 启动Supervisor后台程序,并放到后台执行; UI: Storm主控节点上运行nohup storm ui & 启动UI后台程序...为了方便使用,可以将bin/storm加入到系统环境变量。 至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

35110

大数据实时处理利器 storm ui 解剖

有什么数据,那么先去理解 storm 有哪些动作就事半功倍了,以下是 storm worker/supervisor/nimbus 基本操作及对应数据类型,左边为操作,右边为数据。...nimbus-summary isleader 发生变化 三、页面展现结构 在上述第二点已经说明了基本操作及对应数据类型,那么页面中就可以很好对应了,先从整体视图来看看我们 storm...bolts:bolt 组件统计数据,数据含义第二点数据类型已有说明。 topology visualization:展示 topology 拓扑结构图及数据传输情况。...[1500361254824_4181_1500361254561.png] 五、常见操作流程 我们使用 storm 过程,会不定时出现一些问题,熟练 storm ui 可以更好协助自己分析解决问题...想查看整个 topology 各个 component 传输 tuple 数据,那么 topology 详情页面启动 debug,输入百分比参数,那么 topology 会按照比率把 tuple

3.9K10

Storm集群安装详解

Nimbus作用类似于HadoopJobTracker角色。 2. 每个工作节点(Work Node)上运行一个被称为Supervisor后台程序。...Supervisor负责监听从Nimbus分配给它执行任务,据此启动或停止执行任务工作进程。...此外,NimbusSupervisor进程都是快速失败(fail-fast)和无状态(stateless)Storm集群所有的状态要么Zookeeper集群,要么存储本地磁盘上。...以下是启动Storm各个后台进程方式: Nimbus: Storm主控节点上运行”bin/storm nimbus >/dev/null 2>&1 &”启动Nimbus后台程序,并放到后台执行; Supervisor...: Storm各个工作节点上运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序,并放到后台执行; UI: Storm主控节点上运行”

1.8K10

事实数据分析——Storm框架(一)

流(Stream) 流是Storm核心抽象,是一个无界元组系列。源源不断传递元组就组成了流,分布式环境并行地进行创建和处理。...IRichSpout是Spout必须实现接口。 转接头(Bolt) 拓扑中所有处理都在Bolt完成,Bolt是流处理节点,从一个拓扑接收数据,然后执行进行处理组件。...拓扑(Topology) 拓扑(Topology)是Storm运行一个实时应用程序,因为各个组件间消息流动而形成逻辑上拓扑结构。...Nimbus进程与Supervisor进程 主控节点运行一个称为Nimbus守护进程类似于HadoopJobTracker。Nimbus负责集群中分发代码,对节点分配任务,并监视主机故障。...每个工作节点运行一个称为Supervisor守护进程。Supervisor监听其主机上已经分配主机作业,启动和停止Nimbus已经分配工作进程。

1K30

storm概念学习及流处理与批处理区别

Storm 出现之前,对于需要实现计算任务,开发者需要手动维护一个消息队列和消息处理者所组成实时处理网络,消息处理者从消息队列取出消息进行处理,然后更新数据库,发送消息给其他队列。...一、组成原理: 1、主控节点,即运行nimbus守护进程节点。 nimbus负责集群分发代码,将任务分配给其他机器,并负责故障监测。...2、工作节点,即运行supervisor守护进程节点。      supervisor监听分配所在机器,根据nimbus委派,必要时启动和关闭工作进程。...topology可以是任意复杂多阶段流计算网络,Storm急群众提交后立即运行。  storm拓扑topology: ?...这是因为数据库吞吐量很可能无法适应告诉数据存取需求。

76810
领券