首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

storm是否支持ha主机,例如nimbus主机?

Storm是一个分布式实时计算系统,用于处理大规模实时数据流。它是一个开源项目,由Apache基金会进行维护。在Storm中,HA(高可用性)是通过ZooKeeper来实现的,而不是直接支持HA主机。

具体来说,Storm的HA是通过在集群中运行ZooKeeper来实现的。ZooKeeper是一个分布式协调服务,可以用于管理和协调分布式系统中的各个节点。在Storm中,ZooKeeper负责管理Nimbus(Storm的主控节点)的状态信息,以及监控和管理Supervisor(Storm的工作节点)的状态信息。

当Nimbus节点发生故障时,ZooKeeper会自动检测到这个故障,并从可用的Nimbus节点中选举出一个新的主控节点。这样,即使某个Nimbus节点发生故障,Storm集群仍然可以继续正常运行,保证了系统的高可用性。

总结起来,Storm通过ZooKeeper实现了HA,而不是直接支持HA主机。这种设计可以提供高可用性和容错性,确保Storm集群在节点故障时能够继续正常运行。

腾讯云提供了一系列与Storm相关的产品和服务,例如Tencent Cloud Storm,它是腾讯云提供的一种基于Storm的实时计算服务,可以帮助用户快速构建和部署实时数据处理应用。您可以通过以下链接了解更多信息:

Tencent Cloud Storm

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Storm和Zookeeper集群搭建及在java项目中的使用

准备工作 1、修改服务器hostname和hosts文件使得可以直接通过hostname访问 使用hostname name修改hostname,例如: #hostname xuliugen129 (或者直接修改...2、启动nimbus nimbus主机为:xuliugen129 ? 另外开启一个控制界面,使用jps查看是否正常启动: ? nimbus表示正常启动。...3、启动Storm UI Storm UI这可以在启动nimbus的机器上运行,这里是:xuliugen129,启动如下: ? 启动之后,jps如下: ?...3、启动另外两台supervisor 主机分别为:xuliugen214、xuliugen24 >./storm supervisor ? ? 查看Storm UI如下: ?...(2)将导出的jar上传到服务器上,nimbus主机即可,我这里上传到:/home/xuliugen/temp 目录下, (4)在2台supervisor主机上创建项目中需要的目录: /home/xuliugen

56830

大数据实时处理利器 storm 的 ui 解剖

:ui 调用 nimbus 的服务从 zk 中取出数据进行分类聚合汇总,然后展示到前端 二、数据类型 通常我们要真正理解一个事物,通常都会从来龙去脉进行解剖;理解 storm ui 也是,想理解 storm...有什么数据,那么先去理解 storm 有哪些动作就事半功倍了,以下是 storm 中 worker/supervisor/nimbus 的基本操作及对应的数据类型,左边为操作,右边为数据。...: 展示所有的 nimbus 节点,包含主机名称、端口号、是否 leader、版本号、在线时间、启动时间 [1500360752990_252_1500360752981.png] 4、首页-nimbus...点击 nimbus summary 的 port 链接查看 nimbus 日志,查看任务是否分配成功; 点击 supervisor summary 的 host 链接 supervisor 日志,...worker.log,查看 worker 是否有正常启动。

3.9K10

Twitter Storm 集群搭建

控制节点上面运行一个叫Nimbus进程,Nimbus负责在集群里面分发代码,分配计算任务,并且监控状态。 每一个工作节点上面运行一个叫做Supervisor进程。...Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程 Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。...环境配置: linux基本配置: 修改主机名 修改IP 修改主机和IP的映射关系 关闭防火墙 安装步骤: 1.安装jdk 2.搭建Zookeeper集群(这里我们只安装一个zk在主节点上) 解压 进入.../configure make make install 3.4安装storm 修改storm.yaml配置文件(子节点上也得修改) 修改zk对应的主机名 修改主节点对应的主机名 PS: 3.41.Storm.../storm nimbus > /dev/null 2>&1 & slave01:到storm的bin目录下 ./storm supervisor > ..

35910

事实数据分析——Storm框架(一)

概述 Storm是一个免费开源的分布式实时计算系统。...Storm使用元组作为其数据模型,元组支持所有的基本类型、字符串和字节数组作为字段值,只要实现类型的序列化接口就可以使用该类型的对象。...Storm核心组件(类似于yarn) ? nimbus 是整个集群的控管核心,负责topology的提交、运行状态监控、任务重新分配等工作。 zk 就是一个管理者,监控者。...Nimbus进程与Supervisor进程 主控节点运行一个称为Nimbus的守护进程类似于Hadoop的JobTracker。Nimbus负责在集群中分发代码,对节点分配任务,并监视主机故障。...Supervisor监听其主机上已经分配的主机的作业,启动和停止Nimbus已经分配的工作进程。

1K30

storm流式处理框架

Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。 Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的,没有状态。...虽然,有些地方做得还是不太好,例如,底层使用的ZeroMQ不能控制内存使用(下个release版本,引入了新的消息机制使用netty代替ZeroMQ),多语言支持更多是噱头,Nimbus还不支持HA。.../bin/storm nimbus & ./bin/storm supervisor & ./bin/storm ui & 打开web界面,http://ip:8080 界面如下: ?...前者在github上已经有两年都不更新了,只支持storm 0.9。后者一直在更新,所以对于最新的strom 1.1.0, 没有多的选项了。...这里可以参考如何ssh本地主机 配置完免密码登录后,连密码一栏都不用搞了,再次运行。 机器会花一定时间来编译JAR文件,然后就能看到实时流的输出了。

92750

学习Storm、Spark Streaming流式实时分布式计算系统的设计要点

Spark是实时计算的系统,支持流式计算,批处理和实时查询。...是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ 的明确目标是“成为标准网络协议栈的一部分,之后进入 Linux 内核”。现在还未看到它们的成功。...说替代不大合适,只是0.9的默认的Worker之间的通信是使用了Netty,ZeroMQ还是支持的。...对于Storm来说,它认为Master节点Nimbus是无状态的,无状态意味着可以快速恢复,因此Nimbus并没有实现HA(不知道以后的Nimbus是否会实现HA,实际上使用ZooKeeper实现节点的...Worker也是通过从ZK中获取信息,通过这种方式,Worker执行从Nimbus传递过来的命令。Storm的这种使用ZK的方式还是很值得借鉴的。 Spark是如何实现HA的?

1.6K150

Linode Cloud中的大数据:使用Apache Storm进行流数据处理

因此,每个节点都有一个解析为其公共IP地址的公共主机名。每个节点的公共主机将使用该值,接着是多个(例如,public-host1,public-host2等)。...每个节点的私有主机名将使用此值后跟一个数字(例如,private-host1,private-host2等)。群集的所有节点都通过其私有主机名相互通信。...因此,每个节点都有一个解析为其公共IP地址的公共主机名。每个节点的公共主机将使用该值,接着是多个(例如,public-host1,public-host2等)。...每个节点的私有主机名将使用此值后跟一个数字(例如,private-host1,private-host2等)。群集的所有节点都通过其私有主机名相互通信。...浏览器中打开来验证是否可以访问Storm UI Web应用程序。

1.4K20

浅谈Storm流式处理框架

Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。     Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的,没有状态。...Nimbus和Supervisor甚至实际运行的Worker都是把心跳保存在Zookeeper上的。Nimbus也是根据Zookeerper上的心跳和任务运行状况,进行调度和任务分配的。...虽然,有些地方做得还是不太好,例如,底层使用的ZeroMQ不能控制内存使用(下个release版本,引入了新的消息机制使用netty代替ZeroMQ),多语言支持更多是噱头,Nimbus还不支持HA。...先后添加了以下重大的新特性: 使用kryo作为Tuple序列化的框架(0.6.0) 添加了Transactional topologies(事务性拓扑)的支持(0.7.0) 添加了Trident的支持...Storm集成了许多库,支持包括Kestrel、Kafka、JMS、Cassandra、Memcached以及更多系统。随着支持的库越来越多,Storm更容易与现有的系统协作。

92720
领券