首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Apache Storm 2.1.0本地DRPC不返回任何响应,尽管最后一个螺栓很好地将元组发送到收集器

Apache Storm是一个开源的分布式实时计算系统,用于处理大规模流式数据。它提供了高可靠性、高吞吐量和可扩展性的特性,适用于实时数据处理和分析。

Apache Storm的DRPC(Distributed Remote Procedure Call)是一种分布式计算模式,允许用户在Storm集群中调用远程函数并获取结果。本地DRPC是DRPC的一种模式,它允许用户在同一台机器上进行DRPC调用,而不需要通过网络进行通信。

在问题描述中,提到了Apache Storm 2.1.0本地DRPC不返回任何响应的情况。这可能是由于以下原因导致的:

  1. 配置错误:请确保Storm集群和DRPC服务的配置正确。检查Storm配置文件和DRPC配置文件,确保它们正确地指定了相关的主机和端口。
  2. 代码错误:检查代码中是否存在错误,例如函数调用的参数错误、逻辑错误等。确保代码正确地发送元组到收集器,并等待响应。
  3. 网络问题:检查网络连接是否正常。确保本地DRPC服务和Storm集群之间的网络通信没有问题。可以尝试使用其他网络工具(如ping命令)测试网络连接。

如果以上步骤都没有解决问题,可以尝试以下方法:

  1. 更新版本:检查是否有可用的Apache Storm更新版本。升级到最新版本可能会修复一些已知的问题。
  2. 查看日志:查看Storm和DRPC的日志文件,以了解是否有任何错误或异常信息。日志文件通常位于Storm和DRPC的安装目录下的logs文件夹中。
  3. 寻求帮助:如果问题仍然存在,可以在Apache Storm的官方论坛或邮件列表中寻求帮助。在提问时,请提供详细的错误描述、配置信息和日志文件,以便其他社区成员能够更好地帮助你解决问题。

腾讯云提供了一系列与实时计算相关的产品和服务,例如腾讯云流计算(Tencent Cloud StreamCompute)和腾讯云消息队列CMQ(Cloud Message Queue)。这些产品可以与Apache Storm结合使用,以构建可靠的实时数据处理系统。你可以在腾讯云官方网站上找到更多关于这些产品的详细信息和文档。

注意:本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商,以符合问题要求。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Apache Storm一样简单的分布式图计算

每个螺栓都可以传递元组到其它螺栓,只要它们连接到它。一个螺栓可以修改一个元组或者创建一个新的元组。它也可以按原样传递传入的元组,或者根本不传递任何东西。 元组通过喷嘴的元组流向被称为流。...多个流可以共存于一个拓扑中。每个数据流都与其它数据流并行处理。稍后将会再讲到这一点。 Storm极具融合性,并与其它技术很好集成。...正如它名字暗示的那样,这个prepare方法是一个占位符,一旦元组到达它,就可以执行螺栓所需的任何必要的初始化,以实现恰当的功能。在大多数情况下,至少会将输出收集器引用保存到局部变量中。...输出收集器允许发出新的元组到下面的螺栓。 它也允许确认一个元组Storm会将任何未确认的元组视为一个未处理的数据结构,以便重新处理。...execute方法在每个元组传递时(由Storm基础结构)调用一次。在execute方法中将使用元组,在需要的情况下发出任何新的元组最后,确认传入的元组

908100

Apache Storm一样简单的分布式图计算

多个流可以共存于一个拓扑中。每个数据流都与其它数据流并行处理。稍后将会再讲到这一点。 ? Storm极具融合性,并与其它技术很好集成。...正如它名字暗示的那样,这个prepare方法是一个占位符,一旦元组到达它,就可以执行螺栓所需的任何必要的初始化,以实现恰当的功能。在大多数情况下,至少会将输出收集器引用保存到局部变量中。...输出收集器允许发出新的元组到下面的螺栓。 它也允许确认一个元组Storm会将任何未确认的元组视为一个未处理的数据结构,以便重新处理。...execute方法在每个元组传递时(由Storm基础结构)调用一次。在execute方法中将使用元组,在需要的情况下发出任何新的元组最后,确认传入的元组。 ?...最后拓扑提交到集群并运行它。在这个例子中,提交给一个专门为调试而开发的本地集群: ? 一旦拓扑经过测试和调试,就可以安全将其部署到 “真实”的Storm集群。 这可以通过几种方式来完成。

1.2K60

Storm——分布式实时流式计算框架

一般会从指定外部的数据源读取元组(Tuple)发送到拓扑(Topology)中 一个Spout可以发送多个数据流(Stream) 可先通过OutputFieldsDeclarer中的declare...DRPC Server 负责接收 RPC 请求,并将该请求发送到 Storm中运行的 Topology,等待接收 Topology 发送的处理结果,并将该结果返回给发送请求的客户端。...随后拓扑会执行函数来计算结果,并在拓扑的最后使用一个名为 ReturnResults 的 bolt 连接到 DRPC 服务器,根据函数调用的 id 来函数调用的结果返回。...定义DRPC拓扑: 方法1: 通过LinearDRPCTopologyBuilder (该方法也过期,建议使用) 该方法会自动为我们设定Spout、结果返回DRPC Server等,我们只需要将...每个batch(一批tuple)关联一个transaction id 每个batch内部可以并行计算 Design 3 Storm’s design 一个关键的认识是,并非所有处理批处理元组的工作都需要有序进行

4.9K20

Storm篇】--Storm中的同步服务DRPC

DRPC Server 负责接收 RPC 请求,并将该请求发送到 Storm中运行的 Topology,等待接收 Topology 发送的处理结果,并将该结果返回给发送请求的客户端。...DRPC设计目的是为了充分利用Storm的计算能力实现高密度的并行实时计算。 (Storm接收若干个数据流输入,数据在Topology当中运行完成,然后通过DRPC结果进行输出。)...随后拓扑会执行函数来计算结果,并在拓扑的最后使JoinResult的Bolt实现数据的聚合, ReturnResults 的 bolt 连接到 DRPC 服务器,根据函数调用的 id 来函数调用的结果返回...通过LinearDRPCTopologyBuilder (该方法也过期,建议使用) 该方法会自动为我们设定Spout、结果返回DRPC Server等,我们只需要将Topology实现 package...2、 实现了最后的JoinResult用来汇合结果,ReturnResult用来结果返回客户端。从而达到实时的目的。 3.、我们可以修改并行度,使集群的并行计算能力达到最优,主要实现并行计算。

74130

使用Storm实现实时大数据分析

一个节点挂了不能影响我的应用。 低延迟。都说了是实时计算系统了,延迟是一定要低的。 尽管通常使用Java,Storm中的topology可以用任何语言设计。...尽管 Storm 是使用 Clojure 语言开发的,您仍然可以在 Storm 中使用几乎任何语言编写应用程序。所需的只是一个连接到 Storm 的架构的适配器。...通过配置drpc服务器,storm的topology发布为drpc服务。客户端程序可以调用drpc服务数据发送到storm集群中,并接收处理结果的反馈。...在本地集群上运行和测试topology 通过TopologyBuilder建立topology。 使用Storm Submitter,topology递交给集群。...在 Storm 引入开源之前将近一年的时间里,Yahoo! 的 S4 分布式流计算平台已向 Apache 开源。

60510

流式大数据处理的三种框架:Storm,Spark和Samza

本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。 Apache StormStorm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。...一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责数据流以tuple元组的形式发送出去;而bolt则负责转换这些数据流,在bolt中可以完成计算、过滤等操作,bolt自身也可以随机数据发送给其他...Apache Spark Spark Streaming是核心Spark API的一个扩展,它并不会像Storm那样一次一个地处理数据流,而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。...如果你想要的是一个允许增量计算的高速事件处理系统,Storm会是最佳选择。它可以应对你在客户端等待结果的同时,进一步进行分布式计算的需求,使用开箱即用的分布式RPC(DRPC)就可以了。...最后但同样重要的原因:Storm使用Apache Thrift,你可以用任何编程语言来编写拓扑结构。

87460

【云计算】流式大数据处理的三种框架:Storm,Spark和Samza

本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。 Apache StormStorm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。...一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责数据流以tuple元组的形式发送出去;而bolt则负责转换这些数据流,在bolt中可以完成计算、过滤等操作,bolt自身也可以随机数据发送给其他...Apache Spark Spark Streaming是核心Spark API的一个扩展,它并不会像Storm那样一次一个地处理数据流,而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。...如果你想要的是一个允许增量计算的高速事件处理系统,Storm会是最佳选择。它可以应对你在客户端等待结果的同时,进一步进行分布式计算的需求,使用开箱即用的分布式RPC(DRPC)就可以了。...最后但同样重要的原因:Storm使用Apache Thrift,你可以用任何编程语言来编写拓扑结构。

1K60

流式大数据处理的三种框架:Storm,Spark和Samza

本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。 Apache StormStorm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。...一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责数据流以tuple元组的形式发送出去;而bolt则负责转发数据流,在bolt中可以完成计算、过滤等操作,bolt自身也可以随机数据发送给其他...Apache Spark Spark Streaming是核心Spark API的一个扩展,它并不会像Storm那样一次一个地处理数据流,而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。...如果你想要的是一个允许增量计算的高速事件处理系统,Storm会是最佳选择。它可以应对你在客户端等待结果的同时,进一步进行分布式计算的需求,使用开箱即用的分布式RPC(DRPC)就可以了。...最后但同样重要的原因:Storm使用Apache Thrift,你可以用任何编程语言来编写拓扑结构。

1K80

Storm极简教程

分布式:可以轻松应对数据量大,单机搞不定的场景 可扩展: 随着业务发展,数据量和计算量越来越大,系统可水平扩展 容错:单个节点挂了不影响应用 消息丢失:保证消息处理 不过Storm不是一个完整的解决方案...一个Bolt可以通过提供的TopologyContext来获得消费者的任务ID,也可以通过OutputCollector对象的emit函数(会返回元组发送到的任务的ID)来跟踪消费者的任务ID。...transfer-thread会订阅到transfer-queue消费消息,并负责消息通过socket发送到远程节点的端口上。...其通过topology的代码从nimbus下载到本地以进行任务调度。...的Andy Feng就极力建议他Storm提交给Apache。其时,他也恰巧在考虑这个问题。

1.9K50

storm 分布式实时计算系统介绍

分布式:可以轻松应对数据量大,单机搞不定的场景 可扩展: 随着业务发展,数据量和计算量越来越大,系统可水平扩展 容错:单个节点挂了不影响应用 消息丢失:保证消息处理 不过Storm不是一个完整的解决方案...资源 TopologyBuilder: 使用这个类来在Java中创建拓扑 在生产集群中运行拓扑 本地模式: 通过阅读这篇可以学习到如何在本地模式下进行拓扑的开发和测试 元组(Tuple) 元组Storm...元组是一次消息传递的基本单元。一个元组一个命名的值列表,其中的每个值都可以是任意类型的。元组是动态进行类型转化的--字段的类型不需要事先声明。在Storm中编程时,就是在操作和转换由元组组成的流。...一个流由无限的元组序列组成,这些元组会被分布式并行创建和处理。通过流中元组包含的字段名称来定义这个流。 每个流声明时都被赋予了一个ID。...一个Bolt可以通过提供的TopologyContext来获得消费者的任务ID,也可以通过OutputCollector对象的emit函数(会返回元组发送到的任务的ID)来跟踪消费者的任务ID。

1.7K30

Flink的处理背压​原理及问题-面试必备

目前主流的流处理系统 Apache Storm、JStorm、Spark Streaming、S4、Apache Flink、Twitter Heron都采用反压机制解决这个问题,不过他们的实现各自不同...例如,考虑一个工作流程,或由于数据倾斜或任务调度而导致数据被处理十分缓慢。在这种情况下,如果上游阶段不减速,导致缓冲区建立长队列,或导致系统丢弃元组。...最后Worker的发送线程从传输队列中读取消息,然后Tuple元组发送到网络中。 1....Flink 反压机制 Flink 没有使用任何复杂的机制来解决反压问题,因为根本不需要那样的方案!它利用自身作为纯数据流引擎的优势来优雅响应反压问题。...接下来,我们再次消费者的速度降至30%,pipeline给出了立即响应:生产者的速度也被自动降至30%。最后,我们再次停止限速,两个task也再次恢复100%的速度。

4.7K30

storm流式处理框架

2、消息丢失。用户发布的一个宝贝消息不能在实时处理的时候给丢了,对吧?更严格一点,如果是一个精确数据统计的应用,那么它处理的消息要不多不少才行。这个要求有点高哦。...Storm集群实时分析日志和入库。使用DRPC聚合成报表,通过历史数据对比等判断规则,触发预警事件。...如果,业务场景中需要低延迟的响应,希望在秒级或者毫秒级完成分析、并得到响应,而且希望能够随着数据量的增大而拓展。那就可以考虑下,使用Storm了。...需要知道Storm不是一个完整的解决方案。使用Storm你需要加入消息队列做数据入口,考虑如何在流中保存状态,考虑怎样大问题用分布式去解决。解决这些问题的成本可能比增加一个服务器的成本还高。...wget http://apache.fayea.com/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz tar -zxvf apache-storm

92850

StormStorm之how

当整棵树被处理完成,才算一个Tuple被完全处理,其中任何一个节点的Tuple处理失败或超时,则整棵树失败。...第二个值是一个系统生成的随机编号和一个64bit的数字的映射,我们64bit的数字称为"ack val",它是树中所有消息的随机id的异或计算结果。...3. tuple的追踪并不一定要是从spout结点到最后一个bolt,只要是spout开始,可以在任意层次bolt停止追踪做出应答?...中执行block动作,而原生的storm,nextTuple/ack/fail 都在一个线程中执行,当数据量不大时,nextTuple立即返回,而ack、fail同样也容易没有数据,进而导致CPU 大量空转...anchors:锚定父元组,如果锚定了,发生失败或者成功,这个消息不会影响spout的ack和fail的调用。 tuple:发送的字段元组

68921

那些年我们用过的流计算框架

基于此,一种新的数据计算结构---流计算方式出现了,它可以很好对大规模流动数据在不断变化的运动过程中实时进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。 什么是流计算?...用户/系统主动发起一个计算作业(例如=Hive的SQL作业)并向上述数据系统进行请求。 计算结果返回,计算作业完成后数据以结果集形式返回用户。...Storm具有编程简单、高性能,低延迟、分布式、可扩展、容错、消息丢失等特点。 ?...这个过程可以用任何编程语言实现。这种方法比较简单,易于操作,适应于任何有Kafka客户端的语言。 ? Apache Samza Samza处理数据流时,会分别按次处理每条收到的消息。...Samza的执行与数据流模块都是可插拔式的,尽管Samza的特色是依赖Hadoop的Yarn(另一种资源调度器)和Apache Kafka。 ?

3.8K80

大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度

2.1.1 元组(Tuple)   元组(Tuple),是消息传递的基本单元,是一个命名的值列表,元组中的字段可以是任何类型的对象。...2.1.2 流(Stream)   流是 Storm 的核心抽象,是一个无界的元组系列。源源不断传递的元组就组成了流,在分布式环境中并行进行创建和处理。...NextTuple() 会发出一个新的 Tuple 到拓扑,如果没有新的元组发出,则简单返回。   Spout 的其他方法是 ack() 和 fail()。...(5)nextTuple()   当调用 nextTuple() 方法时,Storm 要求 Spout 发射元组到输出收集器(OutputCollecctor)。   ...nextTuple() 方法应该是非阻塞的,所以,如果 Spout 没有元组可以发射,该方法应该返回

2.4K20

Druid 使用 Kafka 数据加载教程——下载和启动 Kafka

本教程演示了如何使用Druid的Kafka索引服务数据从Kafka流加载到Apache Druid中。...假设你已经完成了 快速开始 页面中的内容或者下面页面中有关的内容,并且你的 Druid 实例已使用 micro-quickstart 配置在你的本地的计算机上运行了。...到目前,你还不需要加载任何数据。 下载和启动 Kafka Apache Kafka 是一个高吞吐量消息总线,可与 Druid 很好配合使用。 在本指南中,我们将使用 Kafka 2.1.0 版本。...下载 Kafka 后,在你的控制终端上运行下面的命令: curl -O https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz.../bin/kafka-server-start.sh config/server.properties 使用下面的命令在 Kafka 中创建一个称为 wikipedia 的主题,这个主题就是你需要将消息数据发送到的主题

50900

strom架构和构建Topology

2、Streams 消息流stream是storm里的关键抽象。一个消息流是一个没有边界的tuple序列, 而这些tuple序列会以一种分布式的方式并行创建和处理。...在这里宣布,它发出一个域为word的元组。 setBolt的最后一个参数是你想为bolts的并行量。 ...setBolt方法返回一个对象,用来定义bolts的输入。 例如,SplitSentence螺栓订阅组件“1”使用随机分组的输出流。 “1”是指已经定义KestrelSpout。 ...你可以在Apache Maven的网站上找到更多的信息(http://maven.apache.org/)。 NOTE: Storm的Maven依赖引用了运行Storm本地模式的所有库。...最后,每次都调用collector对象的ack()方法确认已成功处理了一个元组。 例2-2是这个类的完整代码。

1.4K70

实时可靠的开源分布式实时计算系统——Storm

分布式:可以轻松应对数据量大,单机搞不定的场景; 可扩展:随着业务发展,数据量和计算量越来越大,系统可水平扩展; 容错:单个节点挂了不影响应用; 消息丢失:保证消息处理。...一个元组一个命名的值列表,其中的每个值都可以是任意类型的。元组是动态进行类型转化的—字段的类型不需要事先声明。在Storm中编程时,就是在操作和转换由元组组成的流。...一个流由无限的元组序列组成,这些元组会被分布式并行创建和处理。通过流中元组包含的字段名称来定义这个流。 每个流声明时都被赋予了一个ID。...Spout中最主要的函数是nextTuple,Storm框架会不断调用它去做元组的轮询。如果没有新的元组过来,就直接返回,否则把新元组吐到拓扑里。...一个Bolt可以通过提供的TopologyContext来获得消费者的任务ID,也可以通过OutputCollector对象的emit函数(会返回元组发送到的任务的ID)来跟踪消费者的任务ID。

2K60
领券