统计Storm中螺栓和spout的执行次数

文章/答案/技术大牛

发布

1回答

apache-storm

Storm中螺栓和spout的执行次数该如何统计？我尝试过使用ConcurrentHashmap (考虑多线程)，但它不能在多台机器上完成。你能帮我解决这个问题吗？

浏览 0提问于2018-01-18得票数 0

2回答

暴雨流喷口处理中nextTuple方法的几个问题

stream、apache-storm

我正在Storm上开发一些数据分析算法，并对Storm的内部设计有一些问题。我想在Storm中模拟传感器数据的产生和处理，因此我使用Spout通过在Spout的nextTuple方法中设置休眠方法，以恒定的时间间隔将传感器数据推送到后续的螺栓中。但从实验结果来看，spout似乎没有以指定的速率

浏览 0提问于2014-03-06得票数 1

3回答

Storm:多个worker会发生什么情况？

apache-storm

假设我部署了一个有2个worker的拓扑，topo有1个spout和1个bolt，有2个任务。那么我的理解是，一个工人将运行喷嘴执行器和一个螺栓执行器，另一个工人将运行一个螺栓执行器。我的理解正确吗？如果我的理解是正确的，那么我的问题就来了。假设螺栓是由Python实现的。由于storm通过

浏览 2提问于2016-05-11得票数 2

1回答

风暴拓扑/ KafkaSpout静默地使元组失败，并在一段时间后变慢

apache-kafka、apache-storm

我使用Storm Topology ( Storm 0.10.0)和默认的KafkaSpout来获取来自Kafka主题的JSON数据并对其进行处理。有时拓扑达到每秒500k消息的峰值而没有任何问题，但通常保持在每秒约10k消息。知道为

浏览 4提问于2016-10-05得票数 1

1回答

如何重新平衡暴风三叉树拓扑

apache-storm、trident

从文档链接中，我可以了解到使用以下命令可以轻松地重新平衡拓扑但是我如何重新平衡一个三叉树拓扑，因为在三叉树拓扑中，我们不能用名称标记过滤器/函数(螺栓)，那么我如何增加/减少并行度计数？或者，对于特定拓扑中的所有组件，有没有办法使用乘法器来增加/减少并行计数？

浏览 4提问于2015-07-13得票数 1

1回答

流解析连续调用next_tuple

python、apache-storm、apache-kafka、stream-processing

我正在尝试使用Streamparse在Python中编写一个简单的Storm拓扑。一切都在为我工作，除了我写的那个简单的卡夫卡喷口--它似乎一直在叫"next_tuple“。我的螺栓相当慢，所以系统似乎在内存中迅速爆炸。启动拓扑时，我尝试将topology.max.spout.pending设置为1，以防止它向拓扑中添加太多消息。Thread-16-metadata-spout] INFO backty

浏览 11提问于2015-03-26得票数 2

回答已采纳

2回答

Storm 0.10.0重用拓扑设计？

apache-storm

下面的设计可以在Storm中完成吗？让我们以下面的中出现的wordcount为例，我将单词生成器spout更改为文件阅读器spout 这个单词统计拓扑的设计是1.输出读取文件并逐行创建句子2.螺栓将句子拆分为单词3.螺栓添加唯一的单词并给出单词及其对应的计数如果我有两个文件file1和file2，其中一个应该能够调用相同的拓扑，并创建该拓扑的两个

浏览 1提问于2015-12-23得票数 0

3回答

让风暴喷口等待螺栓准备就绪

apache-storm

现在风暴喷口有一个开放的方法来配置它们，而螺栓有一个准备方法。有没有办法让所有Spout实例等待侦听它们的Bolts上的所有prepare方法完成？我有一个案例，我想在飞行中传递一些配置信息给螺栓(因为这个配置信息一直在变化)。我在一些地方读到，我们应该使用Zookeeper或像redis这样的内存中的键值存储来实现这一点。但我担心的是，如果Bolts还没有准备好处理来自Spouts的</e

浏览 0提问于2014-05-14得票数 3

2回答

是否可以在整个storm集群中共享相同的应用程序上下文？

java、spring、apache-storm

Storm序列化/反序列化类字段，但是spring上下文是不可序列化的。在spout/bolt的prepare/out方法中初始化同样的方法并不能解决问题。在这种情况下，您可能希望在集群中使用相同的spring上下文，这些情况下的最佳实践是什么？

浏览 1提问于2017-07-17得票数 0

1回答

Apache kafka偏移量在apache storm拓扑中提交

apache-kafka、apache-storm

我正在设计一个apache storm拓扑(使用streamparse)，它使用一个spout (apache kafka spout)和一个并行大于1的螺栓构建，可以批量读取kafka spout中的消息并将消息持久化到mysql表中螺栓分批读取消息。当螺栓在mysql上插入失败时，我不会在kafka中提交偏移量，但一些消息已经在spout发送到螺栓<

浏览 2提问于2019-01-31得票数 0

1回答

用壳体螺栓建立风暴拓扑结构

java、r、apache-storm

我目前正在尝试实现一个与R语言集成的Storm拓扑。5661 [Thread-18] ERROR backtype.

浏览 3提问于2014-05-09得票数 2

回答已采纳

2回答

Apache storm在不同的机器上执行螺栓(指定节点)

python-2.7、apache-storm

我想创建一个拓扑，其中一个喷嘴发出单词，而一个基于这些单词的螺栓创建一个名为word的目录。请建议一种配置storm的方法来实现这一点。我还想知道，如果一个螺栓是足够的，或者如果部署了两个螺栓，如何管理一个螺栓在一台机器上运行，而在另一台机器上运行。附注:我正在使用Pyleus()创建螺栓和管口。

浏览 3提问于2015-02-22得票数 0

2回答

停止在某螺栓中加工块状零件

apache-storm

例如，我有一个由1个喷口和4个螺栓组成的拓扑结构。spout A -> bolt B -> bolt C -> bolt E只有当螺栓B中的某些条件语句为真时，才能将一个元组传递给螺栓C和螺栓D只有当螺栓C中的某些条件语句为真时，它才会将一个元组传递给螺栓E。因此

浏览 5提问于2014-06-17得票数 5

回答已采纳

2回答

Storm中的执行器数量

java、apache-storm

我在和Storm玩。这是我正在使用的拓扑：builder.setBolt("exclaim1", new ExclamationBolt(), 6).shuffleGrouping("word"); 我以为Storm会为这个拓扑生成9个执行器(3个spout+6个螺栓)，但当我实际运行它时，我可以看

浏览 1提问于2014-03-10得票数 6

1回答

Storm bolt无输出

apache-storm

我有一个非常简单的Storm bolt，它从Kafka spout中获取输入，应该只写入标准输出。它扩展了BaseRichBolt。builder_ = new TopologyBuilder(); builder_.setBolt("echo-bolt",echoBolt) .shuffleGrouping("kafka-

浏览 0提问于2015-07-10得票数 2

1回答

风暴拓扑的操纵

graph、apache-storm

我是Apache Storm的新手。我正在尝试做一些事情，但我不知道这是否可能。我创建了一个有向图，我想引用我正在检查的风暴拓扑……我怎样才能用这个图表连接管口和螺栓呢？

浏览 5提问于2019-01-21得票数 0

1回答

Storm 1.0.2 hdfs-未向其发送数据时对元组进行插销

apache、hadoop、apache-storm

我实现了一个Storm拓扑，它从Kafka Spout接收JSON数据，通过两个螺栓进行处理，然后使用hdfs-bolt将消息输出到hdfs。将Storm 0.9.6与Kafka 0.8.2.1和Hadoop 2.5.0配合使用，可以完美地工作。我为其实现的生产系统正在将工具更新到Storm 1.0.2、Kakfa 0.10.1.0和Hadoop 2.6.0。当我更新以上版本的包信息时，hdfs螺栓现在甚至在我还没有

浏览 1提问于2017-03-22得票数 0

1回答

apache storm单元测试实时拓扑中的螺栓

unit-testing、apache-storm

我有一个storm拓扑，它有一个连接到kafka队列的spout，并将元组转发到我的bolt进行处理。我只想对螺栓进行单元测试，而不是kafka -> spout -> bolt的整个代码段。但是，我还想在storm拓扑实例中测试螺栓，而不仅仅是它的纯功能。原因是螺栓实际上将处理后的数据发送到cassandra数据库。因此，我实现这一点的</e

浏览 12提问于2018-02-10得票数 0

回答已采纳

1回答

当其中一个无法获知时，storm如何处理两个平行螺栓中的元组

tuples、apache-storm

我有一个单管和3个螺栓(A，B，C)的拓扑。螺栓B和螺栓C消耗螺栓A的元组，但没有连接螺栓B和C。你可以说是两个独立的螺栓。如果Bolt B失败，Bolt C成功确认元组，storm是否会一次又一次地向Bolt C重放相同的元组？我想要确保两个都成功，如果没有，元组

浏览 0提问于2016-04-20得票数 0

1回答

输出逻辑错误

python、apache-storm

在这个问题上我需要你的一些帮助。我读到spout负责读取数据或准备在Bolt中处理数据。因此，我在spout中编写了一些代码来打开文件并逐行读取 # Not much to do here for such a basic_context = context storm.logInfo("Spout instance starting...th

浏览 0提问于2017-04-04得票数 0

点击加载更多