腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(229)
视频
沙龙
1
回答
Apache
Storm
翻滚
窗
口中
的
过期
元组
apache-storm
我实现了一个大小为100
的
翻滚
窗口(基于计数)。在运行拓扑时,我看到新
元组
的
计数(inputWindow.get)和
过期
元组
的
计数(inputWindow.getExpired)都是100。有了这个超时时间,我没有料到
元组
会
过期
。
元组
过期
的
原因可能是什么?我已经将螺栓设置为bolt.withTumblingWindow(Count.of(100)),螺栓
的
para
浏览 9
提问于2019-10-11
得票数 1
回答已采纳
3
回答
滑动窗口与
翻滚
窗口
streaming
我正在读一篇关于数据流管理
的
长篇文章,我对滑动和
翻滚
窗口之间
的
区别感到有点困惑。到目前为止,我已经理解了
翻滚
窗口可以是基于时间
的
,并且有固定
的
(开始,结束)-points,它在窗口到期时“
翻滚
”。例如,基于时间
的
窗口可以是1分钟长。因此,每隔一分钟,窗口就会
翻滚
以处理数据集
的
聚合。 让我感到困惑
的
是滑动窗口。滑动窗口类似于基于计数
的
窗口,这样当x个
元组
进入窗口时,
浏览 2
提问于2012-09-26
得票数 33
回答已采纳
1
回答
数据流处理
stream
、
dataflow
、
control-flow-graph
该图远不是线性
的
,因为有多个输入以及散开
的
节点和需要其他几个节点
的
结果
的
节点。在所有这些计算中,也可能有几个接收器。然而,没有周期存在。输入节点被更新(不一定一次更新一个),我让它们
的
值流经(在这一点上纯粹是概念性
的
)图。节点在输入更改时保留状态,并且计算必须相对于输入按顺序运行。由于我必须频繁地编写这样
的
计算,而且我不愿意每次都编写特别的代码,所以我尝试编写一个小
的
库,以便通过为各种顶点编写类来轻松地拼凑这些计算。然而,我
的
代码相当
浏览 1
提问于2015-11-18
得票数 8
1
回答
Apache
使用Kafka Spout提供错误: IllegalStateException
apache-kafka
、
tuples
、
apache-storm
Version Info: "org.
apache
.
storm
" % "
storm
-kafka-clientboltB做了一些处理,每个
元组
接受
的
元组
大约有100个
元组
。boltC和boltD处理这些
元组
。所
浏览 0
提问于2018-12-03
得票数 5
回答已采纳
1
回答
在
Apache
/Hadoop中,"Ack“是什么意思?
hadoop
、
apache-storm
有人能告诉我"Ack“对
Apache
/Hadoop意味着什么吗?这是否意味着当一个
元组
被认为是完整
的
并且没有失败时,你会“破坏”它?将其从队列中删除,类似于ESB在处理消息后如何删除消息?这个奇怪
的
词是从哪里来
的
,它代表了什么?我看了看这里,但还是有点困惑:
浏览 2
提问于2015-07-03
得票数 4
回答已采纳
1
回答
波束中
的
有状态处理-状态是否在窗口
窗
格之间共享?
state
、
apache-beam
Apache
Beam最近通过StateSpec和@StateId注释引入了状态单元,并在
Apache
Flink和Google Cloud Dataflow中提供了部分支持。我
的
问题是关于状态垃圾收集,在有状态
的
DoFn用于开窗流
的
情况下。通常,当窗口
过期
(即水印通过窗口末尾)时,运行器会删除(垃圾收集)状态。但是,请考虑这样一种情况:窗口
窗
格被提前触发,而触发
的
窗
格被丢弃: input.apply(Window.Duration.
浏览 9
提问于2017-06-16
得票数 2
回答已采纳
2
回答
Apache
Storm
:如何从Kafka Spout微批处理事件
apache-kafka
、
apache-storm
我如何在kafka中使用微批处理事件来减少随后
的
螺栓中
的
IO调用?期望是:使用kafka中
的
事件发出一个最大大小为100
的
批次,但最多等待1秒来形成该批次。如果在1秒内没有足够
的
事件,则发出可用
的
事件。 我可以通过"source.groupedWithin“方法在Akka中实现同样
的
效果。我如何用kafka spout做同样
的
事情?
浏览 16
提问于2019-08-23
得票数 1
回答已采纳
1
回答
在拓扑统计中奇怪
的
“发射”数字行为/零统计数(风暴1.0.3)
java-8
、
apache-storm
是我
的
暴风UI统计数据
的
样子。 在我
的
螺栓实现中,我不会执行ack()或fail()任何
元组</
浏览 2
提问于2017-04-11
得票数 1
1
回答
太多
元组
故障-
Storm
拓扑
apache-kafka
、
apache-storm
在第一至第二螺栓中,由于某些分析条件,只处理了20%
的
数据。80%
的
数据被丢弃。我认为此错误是由于80%
的
数据被丢弃或其他原因造成
的
。我不知道原因是什么,也不知道如何解决。
浏览 2
提问于2015-07-23
得票数 0
回答已采纳
1
回答
如何使用风暴
的
新度量报告API?
apache-kafka
、
apache-storm
在根据正式文档设置之后,我想在喷
口中
得到一些度量,喷口代码如下所示,但是在石墨网中没有预期
的
度量数据。 public static class MyTestWordSpout extends BaseRichSpout {
storm<
浏览 0
提问于2018-10-18
得票数 1
2
回答
以编程方式获取
Storm
拓扑统计信息
apache-storm
我正在围绕我
的
Storm
拓扑构建一个监控服务,并希望能够获得各个时间窗口周围失败
的
元组
的
数量,类似于
Storm
UI在10m、3h和1d窗
口中
显示失败
的
元组
的
数量。我
的
监控服务目前是用python构建
的
,所以如果答案涉及到python库或其他语言不可知
的
东西,比如使用CLI或命中REST端点,我将不胜感激。我查看了
Storm
CLI和文档,但到目
浏览 2
提问于2015-09-10
得票数 4
1
回答
阿帕奇风暴最后
的
闪电哪不应该发射
元组
?
apache-storm
假设我们有以下拓扑而bolt 是最后一个,它将信息保存在数据库中,因此不需要发出任何
元组
。如何实现这样
的
解决方案,Exception in thread "main" java.io.IOException: org.
apache
.
storm
.thrift.protocol.TProtocolException(StreamInfo.java:40
浏览 0
提问于2017-03-26
得票数 0
1
回答
OptionalDataException导致StormServerHandler网络错误后,
Storm
拓扑停止发射
netty
、
apache-storm
、
kryo
、
optionaldataexception
我们有一个运行着3个节点和多个拓扑
的
storm
集群。因为我们没有改变
storm
bolts发出或执行数据
的
逻辑,所以我们目前不知道如何抛出这样
的
错误。此外,为什么整个拓扑在出现这样
的
错误后停止工作,这也是值得怀疑
的
。似乎某些HashMap
的
反序列化有问题。但是我们不知道这是怎么发生
的
。:56) ~[
storm
-core-1.2.2.jar:1.2.2] ... 32 more 抛出此错误后,此特定拓扑
浏览 41
提问于2019-09-24
得票数 0
1
回答
Apache
Storm
:最大
元组
大小
limit
、
apache-storm
Apache
Storm
可以处理
的
最大
元组
大小是多少(如果有)? 我在官方
Storm
文档中找不到任何关于这方面的信息,这让我认为没有限制(当然除了堆大小)。在
storm
-user邮件列表中,我找到了a thread asking about this,但发现用户
的
错误是由于序列化问题造成
的
。 我
的
拓扑需要处理几兆字节
的
元组
,并将它们发送到Kafka。我目前正在达到1MB
的
Kafka
浏览 21
提问于2019-09-09
得票数 0
1
回答
如何将延迟指标从
Apache
Storm
发送到Graphite服务器?
apache-storm
、
graphite
我已经将
Apache
Storm
配置为使用version 2将指标发送到Graphite服务器。它正在发送我所有螺栓和喷嘴
的
count参数。我想发送螺栓和喷嘴之间
的
通信延迟,以及处理它们上
的
每个
元组
的
时间。然而,我在Graphite服务器上找到
的
一切都是与螺栓和喷嘴上
的
count
元组
相关
的
指标。# Metrics v2 configuration (optional)
storm
.
浏览 26
提问于2019-03-25
得票数 0
回答已采纳
1
回答
如何修复
Apache
Storm
Trident拓扑中
的
错误“component:[x] subscribes from non existent component[y]”
apache-storm
、
trident
我刚刚实现了一个三叉树DRPC函数来处理传入
的
消息,并且我正在尝试将拓扑
的
最后阶段处理
的
元组
的
计数持久化为三叉树状态。(StormSubmitter.java:273)at org.
apache
.
storm
.generated.Nimbus$Client.recv_submit
浏览 4
提问于2019-06-12
得票数 0
1
回答
Storm
-kafka-mongoDB集成
mongodb
、
apache-kafka
、
performance-testing
、
apache-storm
我正在从Kafka producer continuous读取500MB随机
元组
,在风暴拓扑中,我使用Mongo Java驱动程序将其插入到MongoDb中。问题是我得到了非常低
的
吞吐量,每秒4-5个
元组
。 在没有DB insert
的
情况下,如果我编写一个简单
的
print语句,我会得到每秒684个
元组
的
吞吐量。我计划运行来自Kafka
的
100万条记录,并使用mongo insert检查吞吐量。conf.setDebug(true); conf
浏览 25
提问于2019-03-06
得票数 0
1
回答
Apache
storm
中
的
吞吐量
apache-storm
我想知道
apache
Storm
的确切吞吐量。是处理
的
元组
数量/总时间吗? 如果是,那么发出
的
元组
总数是多少?我没有得到总
元组
发射/时间的确切意义。请让我知道。
浏览 3
提问于2018-11-01
得票数 0
1
回答
Apache
Storm
中
的
输入数据速率
apache-storm
我正在从一个文件中读取文本数据,并使用
apache
storm
对其进行处理以生成结果。我想用不同
的
输入数据速率进行实验。我想知道,在此设置下,如何更改
apache
storm
中
的
输入数据速率。另外,输入数据速率为: spout/Time发出
的
元组
数量
浏览 2
提问于2018-08-31
得票数 0
1
回答
Apache
加入模式-至少一次
rabbitmq
、
apache-storm
我在
Storm
中实现了一个螺栓,它接收来自RabbitMQ喷口()
的
消息。我
的
第一个方法是: 当第二个
元组
到达时,从内存中获取第一个
元组
,并发出一个新
的
元组
,锚定到第二个
元组
。内存中
的
缓存是一个时间
过期
的
番石榴缓存,当一个
元组
由于超时而被逐出时,我将在拓扑中失败(),以便对其进行重新处理
浏览 1
提问于2015-11-02
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
像Apache Storm一样简单的分布式图计算
探寻流式计算
从Storm到Flink:大数据处理的开源系统及编程模型
Apache Flink本地安装及Example运行
五大最佳数据框架的快速比较
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券