首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Storm 1.2.2 Supervisor也将本地主机作为nimbus,无法连接到它,尽管nimbus位于另一台服务器中,并且已经在storm.yaml中指定

Storm是一个分布式实时计算系统,用于处理大规模实时数据流。它由Apache基金会开发和维护,是一个开源项目。

根据提供的问答内容,问题描述了在使用Storm 1.2.2版本时遇到的一个问题:Supervisor将本地主机作为nimbus,但无法连接到它,尽管nimbus位于另一台服务器中,并且已经在storm.yaml中指定。

要解决这个问题,可以按照以下步骤进行排查和修复:

  1. 确认网络连接:确保本地主机和nimbus所在的服务器之间的网络连接是正常的。可以使用ping命令或其他网络工具来测试连接性。
  2. 检查防火墙设置:如果本地主机或nimbus所在的服务器上启用了防火墙,确保相应的端口是开放的。Storm默认使用的端口是6627(nimbus.thrift.port)和6700(supervisor.slots.ports)。
  3. 检查storm.yaml配置文件:确保在storm.yaml配置文件中正确指定了nimbus的地址和端口。可以使用以下配置示例:
  4. 检查storm.yaml配置文件:确保在storm.yaml配置文件中正确指定了nimbus的地址和端口。可以使用以下配置示例:
  5. 其中,nimbus_server_ip是nimbus所在服务器的IP地址。
  6. 检查Supervisor日志:查看Supervisor的日志文件,通常位于/var/log/storm/supervisor.log,以了解是否有任何错误或异常信息。
  7. 检查Nimbus日志:查看Nimbus的日志文件,通常位于/var/log/storm/nimbus.log,以了解是否有任何错误或异常信息。
  8. 检查Storm版本兼容性:确保Supervisor和nimbus使用的Storm版本是兼容的。如果版本不匹配,可能会导致连接问题。

如果上述步骤都没有解决问题,可以尝试重新启动Storm集群,并确保所有组件都正常启动。

关于Storm的更多信息,可以参考腾讯云的相关产品介绍页面:腾讯云 Storm。请注意,这里只提供了腾讯云的相关产品链接作为参考,其他云计算品牌商也提供类似的产品和解决方案。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Apache Storm使用

其分别对应的角色如下: 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。...此外,NimbusSupervisor 进程都是快速失败(fail-fast)和无状态(stateless)的;Storm 集群所有的状态要么在 Zookeeper 集群,要么存储在本地磁盘上。...conf/storm.yaml的配置选项覆盖defaults.yaml的默认配置。...然后在storm.yaml配置该目录,如: storm.local.dir: “/home/admin/storm/workdir” java.library.path: Storm使用的本地库加载路径...为了方便使用,可以bin/storm加入到系统环境变量。 至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

34810

Twitter Storm 集群搭建

控制节点上面运行一个叫Nimbus进程,Nimbus负责在集群里面分发代码,分配计算任务,并且监控状态。 每一个工作节点上面运行一个叫做Supervisor进程。.../configure make make install 3.4安装storm 修改storm.yaml配置文件(子节点上得修改) 修改zk对应的主机名 修改主节点对应的主机名 PS: 3.41.Storm...默认配置在这里可以查看 conf/storm.yaml的 配置选项覆盖defaults.yaml的默认配置。...3.42storm.local.dir: NimbusSupervisor进程 用于存储少量状态, 如jars、confs等的本地磁盘目录, 需要提前创建该目录并给以足够的访问权限。...然后在storm.yaml配置该目录,如: storm.local.dir: "/usr/storm/workdir" 分别启动三台机器 master:到storm的bin目录下 .

35910

Storm集群安装详解

主控节点(Master Node)上运行一个被称为Nimbus的后台程序,负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。...此外,NimbusSupervisor进程都是快速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群,要么存储在本地磁盘上。...conf/storm.yaml的配置选项覆盖defaults.yaml的默认配置。...然后在storm.yaml配置该目录,如: storm.local.dir: "/home/admin/storm/workdir" 3) java.library.path: Storm使用的本地库...为了方便使用,可以bin/storm加入到系统环境变量。 启动Storm后台进程时,需要对conf/storm.yaml配置文件设置的storm.local.dir目录具有写权限。

1.8K10

storm流式处理框架

但是,hadoop不擅长实时计算,因为天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年不会有s4,storm,puma这些实时计算系统如雨后春笋般冒出来啦。...任务状态和心跳信息等都保存在Zookeeper上的,提交的代码资源都在本地机器的硬盘上。 Nimbus负责在集群里面发送代码,分配工作给机器,并且监控状态。全局只有一个。...需要知道Storm不是一个完整的解决方案。使用Storm你需要加入消息队列做数据入口,考虑如何在流中保存状态,考虑怎样大问题用分布式去解决。解决这些问题的成本可能比增加一个服务器的成本还高。...-1.2.2.tar.gz cd apache-storm-1.2.2 修改conf/storm.yaml,添加如下配置 storm.zookeeper.servers: - "127.0.0.1...这里可以参考如何ssh本地主机 配置完免密码登录后,密码一栏都不用搞了,再次运行。 机器会花一定时间来编译JAR文件,然后就能看到实时流的输出了。

92850

Storm入门(二):架构模型和集群部署

前言 上一篇文章我们通过 Storm本地模式对其编程模型进行了讲述.......supervisor,注意不是直接分配,而是任务发布到zookeeper上,由supervisor到zookeeper上领取任务(在Zookeeper相应的znode节点上写入任务分配信息,由supervisor...节点挂掉,由Nimbus将该节点上正在运行着的任务重新分配给其他supervisor执行 Supervisor 从节点 从Zookeeper上获取Nimbus分配的任务,负责启动和停止本机上worker...UI (启动后进程名为 core) storm web监控页面 在storm.yaml配置文件通过配置ui.port参数指定web ui访问端口 UI需要与Nimbus运行在同一台服务器上(这一点没确认过...提交作业到 Storm 集群 这里我们将上一篇讲到的代码,稍微改一改就可以了,当传入的参数大于1,我们第一个参数作为 该作业的 名称 提交到集群去运行,否则就是本地测试模式 public static

61020

Storm的故障容忍性

一直在关注Storm相关的技术,发现官网上这篇文章虽然字数很少,但却描述了Storm故障容忍性的主要设计细节(除了保证数据处理这一块,已经在Guaranteeing message processing...当一个Worker挂了,Supervisor会重启。如果这个Worker连续在启动时失败,并且无法Nimbus观察到的心跳,Nimbus这个Worker重新分配到另一台机器上。...分配给这台机器的任务将会超时,并且Nimbus这些任务重新分配给其它机器。 当Nimbus或者Supervisor daemon进程挂了会怎样?...Nimbus是否有单点故障? 当你丢失了Nimbus节点,Worker依然可以继续工作。此外,Supervisor将可以继续重启挂掉的Worker。...Nimbus deamon进程挂掉不会引起任何灾难发生。在将来,计划Nimbus设计成高可用。 Storm如何保证数据处理?

27220

Storm——分布式实时流式计算框架

架构 详细说明见第四章第一节 Nimbus: 资源分配,任务调度, 上传jar ( 类比老板 ) Supervisor : 开启或进程 ( 类比包工头,根据ZK分配信息决定 ) Worker: 位于Supervisor...,node4 node1作为nimbus, # 1....如果启动过程仍然一直失败,并且无法Nimbus发送心跳,Nimbus会将该Worker重新分配到其他服务器Supervisor 无状态(所有的状态信息都存放在Zookeeper来管理)...随后拓扑会执行函数来计算结果,并在拓扑的最后使用一个名为 ReturnResults 的 bolt 连接到 DRPC 服务器,根据函数调用的 id 来函数调用的结果返回。...修改配置文件conf/storm.yaml(指定为当前主节点nimbus即可) ----------将该更改分发到集群的其他节点----------------- drpc.servers:

4.9K20

CentOS 6.8 安装JStorm集群(jstorm-2.1.1 )

Storm组件和Hadoop组件对比 JStorm Hadoop 角色 Nimbus JobTracker Supervisor TaskTracker Worker Child 应用名称 Topology...作为一个task独占一个worker #每个component的并行度 上面提到每个topology都可以包含多个spout和bolt,而每个spout和bolt都可以单独指定一个并行度(parallelism...#每个component之间的关系 即用户需要去指定一个特定的spout发出的数据应该由哪些bolt来处理,或者说一个中间的bolt,发出的数据应该被下游哪些bolt处理。...sed -i /'storm.zookeeper.root/a\ nimbus.host: "10.1.1.78"' /opt/jstorm/conf/storm.yaml 配置项: storm.zookeeper.servers...7、安装JStorm Web UI 强制使用tomcat7.0或以上版本,切记拷贝~/.jstorm/storm.yaml, Web UI 可以和Nimbus在同一个节点上 mkdir ~

94160

storm集群部署

172.24.132.142 主机名与 IP 的映射 编辑各个机子的 /etc/hosts 文件,主机名称与 IP 的对应关系加上,例如: 127.0.0.1 localhost localhost.localdomain...;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群的 Leader 服务器交换信息的端口;D 表示的是万一集群的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader...:可以作为 nimbus 的机子 拷贝配置完成的软件 配置修改完成的软件拷贝到其他机子上: scp -r apache-storm-1.0.0 172.24.132.142:/usr/local/ 启动...storm/examples/storm-starter,打包: mvn package 打包很有可能失败,往往是各种的 jar 包无法下载,可以借助 IDE,需要的依赖下载到本地。... storm 服务器版本修改为 1.0.0 即可解决问题 有多个 supervisorstorm ui 上只显示一个 具体现象就是启动了多个 supervisor,单在 ui 上只显示一个(也有可能是多个

1.7K30

StormStorm之what

并且通过负载均衡,Storm尽可能的任务平均分配到进程、线程中去。 (11) Stream groupings:消息分发策略,定义一个Stream应该如何分配给Bolt们。...Storm zookeeper目录树含义: (1) /storm/workerbeats//node-port:(小组项目汇报书、工人工作汇报书) 存储由node-port指定的...(4) /storm/supervisors/:(部门的人员架构图) 存储Supervisor机器本身的运行统计信息,主要包括最近一次更新时间、主机名、supervisor-id...除此之外,Supervisor还通过监控指定本地文件来检测由启动的所有Worker的运行状态。...Nimbus会尽量保持任务分配的稳定性。 箭头9表示Supervisor会从LocalState获取由启动的所有Worker的心跳信息。

69431

搭建storm集群

dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 写数据的日志文件保存在这个目录里。...initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群接到 Leader 的...;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群的 Leader 服务器交换信息的端口;D 表示的是万一集群的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader..."       - "192.168.52.146"  #nimbus所在机子 nimbus.host: "192.168.52.142" #supervisor工作进程端口号 supervisor.slots.ports...进程 storm nimbus & 在另外两台机子上开启supervisor 进程 storm supervisor & 开启完按Ctrl+c 用jps查看进程是否启动成功 如: [root

1.1K70

大数据干货系列(七)-Storm总结

1.Storm任务没有结束,Hadoop任务执行完结束 2.Storm延时更低,得益于网络直传、内存计算,省去了批处理的收集数据的时间 3.Hadoop使用磁盘作为中间交换的介质,而storm的数据是一直在内存中流转的...进程,负责管理资源,在集群里面分发代码,分配计算任务给Supervisor并且监控状态。...主要区别是MapReduce任务最终会结束,而拓扑会一直运行(直到你杀死)。一个拓扑是一个通过流分组(Stream Grouping)把Spout和Bolt连接到一起的拓扑结构。...四、Storm的容错设计 1.架构容错 NimbusSupervisor进程被设计成快速失败(fail fast)的(当遇到异常的情况,进程就会挂掉)并且是无状态的(状态都保存在Zookeeper或者在磁盘上...当一个worker挂掉,supervisor会重启。如果启动一直失败那么此时worker也就不能和Nimbus保持心跳了,Nimbus会重新分配worker到其他机器。

82270

storm 原理简介及单机版安装指南

控制节点上面运行一个后台程序: Nimbus的作用类似Hadoop里面的JobTracker。Nimbus负责在集群里面分布代码,分配工作给机器, 并且监控状态。...并且nimbus进程和supervisor都是快速失败(fail-fast)和无状态的。所有的状态要么在Zookeeper里面, 要么在本地磁盘上。...这个类的main函数定义这个topology并且提交给Nimbusstorm jar负责连接到nimbus并且上传jar文件。...在SpoutStorm系统会为用户指定的MessageId生成一个对应的64位的整数,作为整个Tuple Tree的RootId。...那我们怎样程序运行在刚刚搭建的单机版的环境里面呢, 很简单,官方的例子: 注意看官方实例WordCountTopology类如果不带参数其实是执行的本地模式,也就是刚说的虚拟的环境,带上参数就是

757100

大数据实时处理实战

随着互联网时代的发展,运营商作为内容传送的管道服务商,在数据领域具有巨大的优势,如何这些数据转化为价值,越来越被运营商所重视。...系统架构 10台服务器组成hadoop集群,其中NameNode节点同时作为采集机安装FTP和Flume,选取其他5台服务器安装Kafka,Zookeeper和Storm实现大数据实时流处理架构,为了充分利用集群计算资源...Storm分布式实时计算系统,包含Nimbus主节点和Supervisor从节点(从storm1.0以后,增加了Nimbus备份节点),节点之间需要依靠Zookeeper做状态同步。...图六 从图六Cluster Summary可以看出Storm集群共有4个Supervisor节点,因每台Supervisor提供6个slot(如果在storm.yaml配置文件不配置supervisor.slots.ports...需要注意的是每个拓扑一旦发布,长久占用slot,如果没有足够的slot,最新发布的拓扑只会占用空闲的slot,不会抢占其他已经被占用的slot资源;如果没有slot,无法发布新的拓扑,此时需要挖潜Storm

2.2K100

大数据入门:Storm基础讲解

Storm核心概念 要学习Storm,我们先从Storm的几个核心概念开始讲起—— 无标题112.jpg Topology(拓扑):在Storm,分布式计算的结构被称为一个拓扑,由流数据(Stream...Spout:Spout是storm拓扑的主要数据入口点,Spout像适配器一样连接到一个源的数据,数据转换为元组,发然后发射出一串的元组。...Storm集群架构 通常来说,Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群。...Apache-Storm-architecture.png Nimbus Storm集群的Master节点,负责分发用户代码,指派给具体的Supervisor节点上的Worker节点,去运行Topology...ZooKeeper 用来协调NimbusSupervisor,如果Supervisor因故障出现问题而无法运行Topology,Nimbus会第一时间感知到,并重新分配Topology到其它可用的Supervisor

85200

一脸懵逼学习Storm---(一个开源的分布式实时计算系统)

控制节点上面运行一个叫Nimbus后台程序,的作用类似Hadoop里面的JobTracker。Nimbus负责在集群里面分发代码,分配计算任务给机器, 并且监控状态。...5:Storm 体系架构: (1)NimbusSupervisor之间的所有协调工作都是通过Zookeeper集群完成。...: (2)Nimbus进程和Supervisor进程都是快速失败(fail-fast)和无状态的。所有的状态要么在zookeeper里面, 要么在本地磁盘上。...5.1:StormNimbusSupervisor: ?   ...Topology:任务名称 Nimbus:项目经理 Supervisor:开组长、产品经理 Worker:开人员 Spout/Bolt:开人员的两种角色,一种是服务器开发、一种是客户端开发  7、

1.5K80
领券