Apache STORM - Tuples在工作人员中的分布
Apache Storm是一个开源的分布式实时计算系统，用于处理大规模流式数据。它具有高可靠性、高吞吐量和低延迟的特点，适用于实时数据处理和分析。
在Apache Storm中，Tuples（元组）是数据的基本单位。Tuples是一个有序的数据集合，可以包含任意类型的数据。在工作人员中的分布是指在Storm集群中，Tuples会被分发到不同的工作节点上进行处理。
Tuples的分布是通过Storm的任务分配机制实现的。Storm将数据流划分为多个分区，每个分区由一个或多个任务负责处理。当Tuples进入Storm拓扑（Topology）时，它们会被分配到不同的任务上进行处理。这样可以实现数据的并行处理，提高系统的吞吐量和性能。
在工作人员中的分布可以带来以下优势：
- 并行处理：Tuples的分布可以使数据在多个任务之间并行处理，提高处理速度和系统的吞吐量。
- 负载均衡：通过将Tuples分发到不同的任务上，可以实现负载均衡，避免某些任务负载过重而导致性能下降。
- 容错性：由于Tuples可以在多个任务之间分布，即使某个任务发生故障，其他任务仍然可以继续处理数据，提高系统的容错性。
Apache Storm在实时数据处理和分析领域具有广泛的应用场景，包括实时监控、实时分析、实时计算、实时推荐等。例如，在电信行业中，可以使用Storm进行实时网络流量分析和异常检测；在金融行业中，可以使用Storm进行实时交易监控和风险分析。
腾讯云提供了一系列与实时计算相关的产品和服务，如腾讯云流计算（Tencent Cloud StreamCompute）和腾讯云消息队列CMQ（Cloud Message Queue）。腾讯云流计算是一种高可靠、低延迟的实时计算服务，可用于处理大规模实时数据。腾讯云消息队列CMQ是一种高可靠、高吞吐量的消息队列服务，可用于实现实时数据的异步处理和解耦。
更多关于腾讯云流计算和腾讯云消息队列CMQ的信息，可以访问以下链接：
- 腾讯云流计算：https://cloud.tencent.com/product/sc
- 腾讯云消息队列CMQ：https://cloud.tencent.com/product/cmq
相关·内容
我尝试了几个配置参数，甚至没有运气地使用withLocalModeOverride。我在这里错过了什么？
这里有一个示例应用程序，在30岁以后，计数器被重置，一切都重新启动。如果我能提供更多的细节，请告诉我。
用法：
mvn package
java -jar target/Test-0.1.0.jar
src/main/java/Test.java
package storm.test;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.generate
浏览 8提问于2019-10-02得票数 0
回答已采纳
2回答
我已经搜索了这个论坛和谷歌的许多其他，但，无法找到解决我的问题。请帮帮忙。
问题是：
我使用的是apache-storm-0.9.3，动物园管理员-3.4.6和kafka_2.8.0-0.8.1.1
我把所有东西都放在我的本地机器上。
我的主管一开始就抛出错误并抛出msg -->>杀死:没有这样的过程.
下面是我在屏幕上发现的..。
> storm supervisor
Running: /usr/local/jdk1.8.0_05/bin/java -server -Dstorm.options= -Dstorm.home=/usr/local/apache-storm
浏览 1提问于2015-02-17得票数 2
回答已采纳
我使用R螺栓来处理我的数据，我想将处理后的数据从R螺栓发送到我的下一个螺栓，即当从R螺栓发出CountBolt.But时，不能将java.lang.String转换为java.util.List错误。
ERROR o.a.s.t.ShellBolt - Halting process: ShellBolt died. Command: [Rscript, permute.R], ProcessInfo pid:7169, name:python-split-sentence exitCode:-1, errorString:
java.lang.ClassCastException: ja
浏览 0提问于2019-04-08得票数 0
1回答
在Storm Crawler 1.10和Apache storm 1.2.2上工作。如何在爬行进程进行过程中更改工作人员和获取线程数。
浏览 0提问于2018-11-21得票数 0
回答已采纳
当我在运行风暴拓扑的机器上运行ps aux | grep java时，我可以看到2个Java进程正在运行。
ps -ef | grep java | grep "storm"
UID PID PPID C STIME TTY TIME CMD
test-3p-s+ 10857 10661 0 Apr12 ? 1-02:21:25 java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/usr/share/apache-storm -Dstorm.
浏览 8提问于2022-10-31得票数 0
我一直在努力让Storm的本地副本正常工作，遵循回购指南和这个。
当试图使用mvn compile exec:java -Dstorm.topology=org.apache.storm.starter.ExclamationTopology运行拓扑时，输出最终会继续循环&垃圾邮件：
28534 [Thread-9-SendThread(localhost:2000)] INFO o.a.s.s.o.a.z.ClientCnxn - Opening socket connection to server localhost/127.0.0.1:2000. Will not attem
浏览 3提问于2016-02-19得票数 1
回答已采纳
我一直在寻找如何使用apache storm作为CEP，但似乎有两个概念(流处理和复杂事件处理)，在CEP中，你可以编写类似sql的查询，它们在数据流上执行，就像ESPER，但我在apache storm中找不到任何类似的东西，这是不是意味着apache storm是一个数据流处理器而不是CEP？
浏览 16提问于2017-02-12得票数 0
我想并行化Apache storm中的窗口操作，换句话说，就是分布式窗口操作。我需要比较在单个节点上运行窗口和将其操作分布在多个节点上时的性能。任何帮助都是非常感谢的。
浏览 18提问于2019-02-28得票数 0
1回答
我正在做一些关于流处理与复杂事件处理相结合的研究。我想使用一个开源软件来处理阿帕奇的Storm。我已经找到了像Esper，Siddhi，Sase+这样的CEP引擎，但我正在寻找一些专门在Apache-Storm上工作的东西。是否有任何CEP引擎可以完美地调整Storm，如果是的话，引擎的内部架构是什么(例如在一个螺栓或其他东西上工作).Any信息是最受欢迎的。
浏览 0提问于2016-09-07得票数 1
将一个状态完整的apache storm螺栓插入到拓扑中，假设它看起来如下所示：
public class WordCountBolt extends BaseStatefulBolt<KeyValueState<String, Long>> {
private KeyValueState<String, Long> wordCounts;
private OutputCollector collector;
...
@Override
public void prepare(Map stormConf, Topo
浏览 8提问于2018-02-22得票数 0
回答已采纳
2回答
我想阅读存储在特定位置的the文件的内容。因此，我使用了SparkContext.readFile方法，如下所示：
val zipFileRDD = sc.binaryFiles("./handsOn/repo~apache~storm~14135470~false~Java~master~2210.zip")
zipFileRDD: org.apache.spark.rdd.RDD[(String, org.apache.spark.input.PortableDataStream)] = ./handsOn/repo~apache~storm~14135470~false
浏览 5提问于2015-12-08得票数 2
我最近遇到了Apache Mesos，并成功地在Mesos上部署了我的Storm拓扑。
我想尝试在Apache Marathon上运行Storm拓扑/Hadoop作业(使用mesos-storm框架直接在Apache Mesos上运行Storm有问题)。
我找不到任何教程/文章可以列出如何从Apache Marathon启动Hadoop/Spark任务的步骤。
如果任何人能提供关于这个主题的任何帮助或信息(可能是启动storm/hadoop作业的Marathon的Json作业定义)，那就太好了。
非常感谢
浏览 2提问于2014-12-08得票数 2
我有一个在本地集群上运行良好的拓扑。但是，当我试图在生产集群上运行它时，会发生以下情况：
尼布斯起来了
暴风的UI上升了
我用的两名工人都用完了
动物园起来了
我与之激荡
风暴jar myjar.jar MyClass
Nimbus提交拓扑
拓扑和工人出现在暴风用户界面中。
但：
尽管其状态是活动的，但拓扑仍未启动。
拓扑的日志文件没有出现在员工中.
我在supervisor.log上的工作人员中有以下日志
2016-04-15 13:18:19.831 o.a.s.d.supervisor [WARN] There was a connection pro
浏览 4提问于2016-04-15得票数 5
1回答
我们正在尝试用Apache Spark streaming替换Apache Storm。在storm中；我们根据“客户ID”对流进行分区，以便具有“客户ID”范围的消息将被路由到相同的螺栓(工人)。我们这样做是因为每个worker都会缓存客户详细信息(来自DB)。因此，我们分成4个分区，每个螺栓(工人)将拥有整个范围的1/4。
我确实看到了Spark和Storm的比较；这是对Spark的限制。我希望我们在Spark Streaming中有一个解决方案
浏览 1提问于2015-06-06得票数 1
Version Info:
"org.apache.storm" % "storm-core" % "1.2.1"
"org.apache.storm" % "storm-kafka-client" % "1.2.1"
在使用该版本的storm时，在运行拓扑时，我看到每个工作人员都有两个进程:一个用于日志写入程序，另一个用于辅助进程，正如前面提到的。
问题是，我想给日志写入进程(比如-Xmx512mb)更少的内存，给工作进程(比如-Xmx12gb)更高的内存。但我无法做到这一点，我
浏览 1提问于2018-11-09得票数 0
回答已采纳
当向Storm1.0.1提交拓扑时，我得到下面的错误(worker.log) (尽管有错误，拓扑确实提交了，在Storm中显示了)：
o.a.s.d.worker [ERROR] Error on initialization of server mk-worker java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method) ~[?:1.8.0_91]
at java.lang.Thread.start(Thread.java:7
浏览 6提问于2016-07-14得票数 1
回答已采纳
Apache Storm和LMAX Disruptor之间的对比差异是什么？两者都在一起解决不同的问题吗？如果有，是什么？我花了几天时间学习Apache Storm，我发现它与LMAX Disruptor有一些相似之处。虽然LMAX Disruptor用于在线程之间传递消息，但对数据执行某些处理的事件被链接在一起(如树、菱形、三角形、简单序列)。同样，风暴的Spouts与多个对数据执行某些处理的Bolts链接在一起，数据从一个螺栓传递到另一个，直到没有更多的螺栓。这是不是类似于LMAX Disruptor，还是我看错了？除此之外，Apache Storm是否也可以像LMAX Disruptor
浏览 3提问于2015-03-19得票数 2
我之前使用的是storm，我需要更多的批处理功能，所以我在storm中搜索批处理。我发现了可以实时进行微批处理的三叉树。
但不知何故，我无法理解Trident如何处理微批处理(流、批处理大小、批处理间隔)，以了解它是否真的具有我需要的内容。
我想要做的是收集/保存spout在一个时间间隔内发出的元组，并以另一个时间间隔将它们重新发送到下游组件/螺栓/函数。(例如，spout每秒发出一个元组，下一个三叉树函数将收集/保存元组，并每分钟向下一个函数发出50个元组。)
有人能指导我如何在这种情况下应用三叉树吗？或者使用storm功能的任何其他适用的方式？
浏览 8提问于2016-06-22得票数 2
我有一个加载在storm配置图中的配置参数，如何在不重新启动拓扑的情况下，在运行期间每隔一段时间更新/重新加载这些配置？
浏览 4提问于2018-07-24得票数 0
回答已采纳
Apache Storm是如何在它的工作者之间分配任务的，我读到storm是自己做的，它是一个并行性的函数，但我不知道的是，我如何计算出哪个节点做什么，多少个节点做哪个任务，基本上这样我就可以计算出所需的最佳节点数量？假设所有节点的硬件配置都不相同。
浏览 1提问于2015-07-09得票数 3
目前我正在进行一个项目，以获取来自TI-SensorTag CC2650的传感器值，通过HTTP (通过)将这些值与python脚本发送到Apache，并将Kafka与Apache连接起来处理数据。
这些数据将通过拓扑中的一个螺栓写入我的本地系统(Apache集群文件夹的目录)上的..txt文件。
几周前，我刚从Storm和Kafka开始，我对以下几点感到困惑：
如果我在本地集群上运行拓扑，一切都会正常工作。但是，如果我将它提交到一个运行在localhost上的“正常”集群中:8888，那么它就什么也不做了。
Storm确实显示了拓扑结构，但似乎对来自kafka的传入消息没有任何反应。
本地集
浏览 2提问于2016-12-05得票数 1
回答已采纳
1回答
apache-storm-1.0.2
hbase-1.2.1
kafka_2.10-0.10.0.0
zookeeper-3.4.9
ops
zkServer.sh start
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &!
$KAFKA_HOME/bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 4 --topic project
$KAFKA
浏览 5提问于2017-03-24得票数 0
1回答
我目前正在分析Apache是否可以用作流处理框架。它看起来真的很好，但让我担心的是它的缩放。据我所知，缩放是通过再平衡完成的。
如果我不想给集群添加一个新的服务器，我就必须增加workers。但当我这样做时
storm rebalance storm_example -n 4
所有的bolts和spouts都在重新平衡时停止工作。但我想要的更像是：
添加服务器，在其上添加一个新工作人员，当新数据到达时，也考虑使用这个新的工作人员来处理数据
我只是不明白暴风的概念，还是它不可能。
浏览 2提问于2017-09-05得票数 0
我有一个风暴拓扑，我有：setNumWorkers(1);
当我查看这个正在运行的拓扑上的storm报告时，我看到Num工作者被设置为1。
但是，当我登录到运行监控器的节点时，我会看到两个进程的-Dworker.id和-Dworker.port设置相同。
我将包括ps为下面这两个进程显示的输出。
我的问题是:如果我只请求一个进程，为什么会有两个进程被配置为辅助进程(注意: Storm确认我只有一个工作人员)。
这对我来说很重要，因为当我对拓扑所消耗的资源进行任何分析或分析时，我想知道应该集中在哪个进程上。
ps输出
root 787 20.0 0.6 5858228 78
浏览 2提问于2017-02-22得票数 1
回答已采纳
2回答
增加Storm中拓扑的分配内存
、、、、
我有一个10节点集群，每台机器的内存为8 GB，当我运行拓扑时，分配的内存总是与工作人员的数量成正比。每个工作人员大约需要1GB的内存。我想将2GB分配给我试图在storm.yaml中设置为worker.childopts: "-Xmx6g -Xms6g"的每个工作人员，因为我在每个节点上运行了三个工作人员。但是分配的内存减少到1GB以下。
如何更好地调整我的拓扑结构？
我的一个螺栓出了下面的错误
java.nio.HeapByteBuffer.(HeapByteBuffer.java:57)：java.nio.ByteBuffer.allocate(ByteBuffer.j
浏览 0提问于2018-05-21得票数 0
1回答
Supervisor.log中的错误消息:风暴监控器猫不能同时创建stormClusterState，它在zk.The nimbus进程的/zk.The/zk.The目录中是空的，但是监督者不能start.why？
org.apache.storm.utils.Utils.handleUncaughtException(Utils.java:663)~storm-client-2.3.0.jar:2.3.0 at org.apache.storm.utils.Utils.handleUncaughtException(Utils.java:667)~storm-client-2.3.0.jar
浏览 12提问于2022-02-15得票数 0
我是Apache的新手，并试图为我的用例设计一个简单的拓扑。对于Storm中的并行性()的解释给我留下了两个疑问：
1)如果我只有一名工人，那么假设同一个工人会有我的喷口和螺栓的执行者，这是否安全？
2)工作人员间通信使用的是ZeroMQ，它使用网络进行通信，而不是用于内部通信的LMX，因为它们在内存中速度更快。为了更好的表现，我应该创建一个单独的员工吗？
请回答以上问题，如果不正确，请纠正我的理解。
浏览 2提问于2015-04-28得票数 2
回答已采纳
是否可以监视Apache Storm发送到nimbus的心跳事件？
我目前遇到了一个问题，我的工作人员似乎被随机重新分配，尽管我们没有看到集群中的CPU、RAM、I/O或网络使用率出现任何明显的峰值，这可能表明存在瓶颈。我能够监控的唯一方法是在检查supervisor.log文件(Shutting down and clearing id xxx. Current supervisor time: 123. State: :disallowed, Heartbeat: { ... })和应用程序结果中的错误行为时。storm UI中没有错误，worker日志中也没有堆栈跟踪(例如内存不足或其他
浏览 0提问于2016-05-19得票数 0
如果有人能解释一下Twitter和Apache之间的体系结构差异，那就太好了？我正在寻找一些内部材料以外的实时v/s批处理。由于这两种技术在编写Storm或map拓扑方面非常相似，在Hadoop上编写拓扑，Hadoop在任务跟踪器/作业跟踪器方面，在Hadoop分区和等效洗牌(随机、字段等)方面，这两种技术都是类似的。在Storm等方面(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据，这不完全是Hadoop的情况，因为在Hadoop中创建了中间文件，因此涉及到I/O，对此我说对了吗？)
编辑：
我已经讨论了问题，但是被接受的答案使我想知道的不仅仅是用例，即实时v/s批处理。
浏览 5提问于2013-08-07得票数 5
2回答
我们正在尝试用Apache Storm.实现一个web应用程序。
应用程序
接收到大量的ad-请求(-100事务/秒)，
对它们做了一些简单的计算，然后
将结果存储在NoSQL数据库中。
的最大延迟时间为10 ms。
我们使用Cassandra作为编写功能的接收器。
然而，我们已经超过了8 ms的要求，我们在100ms.
我们试图最小化缓冲区(Disruptor buffers)的大小，并利用螺栓的并行性来很好地平衡拓扑结构。
但我们还在20ms.
对于4名工作人员(8核心/16 is )，我们在20k TPS，这仍然是非常低的。
是否有任何优化建议或
我们刚刚达到了Apache Storm的
浏览 6提问于2015-07-10得票数 1
回答已采纳
storm拓扑包含一个Spout组件，它使用1个以上的线程运行。例如：
builder.setSpout("lines", new TestLineSpout(), 2);
Spout (open函数)打开并读取文本文件中的所有行，nextTuple将每行内容发送到一个螺栓。
当运行两个线程时，对于spout，文件的每一行都被读取两次。
我刚接触storm，想知道处理这个问题的最好方法是什么？我可以将线程数减少到1，或者修改spout，让每个线程读取不同的行--或者我需要(如何)使用TopologyContext参数吗？不确定我是不是错过了一种实现这一点的“风暴”方式？
浏览 0提问于2014-05-28得票数 5
我目前正在评估Apache Storm以处理来自多个数据源的异构数据。虽然可能有一些所有数据共享的公共属性(即“类型”属性)，但我希望能够处理元组的许多不同的“类”，并且能够处理新的数据类型，而对拓扑的更改最少。举个例子，这些数据类型可能是什么样子：
{type=LogTransaction,timestamp=...,user=...,duration=...}
{type=LogEvent,timestamp=...,user=...,message=...}
Storm页面上的示例主要处理简单的元组，这是预先定义好的，这样spout/ bolts就可以静态地声明输出字段。
我最初的想法是
浏览 0提问于2015-11-13得票数 0
我编写了一个拓扑，从kKafka读取主题，然后进行一些聚合，然后将结果存储在数据库中。拓扑正常运行了几个小时，但是工人死了，最终主管也死了。此问题每次运行几个小时后都会发生。
我在3个节点上运行storm 0.9.5 (其中一个用于nimbus，两个用于工作人员)。
这是我在一个工作日志中发现的错误：
2015-08-12T04:10:38.395+0000 b.s.m.n.Client [ERROR] connection attempt 101 to Netty-Client-/10.28.18.213:6700 failed: java.lang.RuntimeException: Re
浏览 5提问于2015-08-12得票数 4
回答已采纳
我用阿帕奇风暴和阿帕奇卡夫卡。所使用的喷口是卡夫卡嘴，但它没有阅读卡夫卡主题的任何东西。我不知道这是否与我在风暴的工人中所面临的问题有关。如果您知道任何相关的解决方案，请告诉我。
Storm拓扑已成功上载到Storm。我获取了日志，下面是工作人员在他们的worker.log文件中所写的内容：
java.lang.ExceptionInInitializerError
at java.nio.file.FileSystems.getDefault(FileSystems.java:176) ~[?:1.8.0_91]
at java.nio.file.Paths.get(Path
浏览 2提问于2016-07-24得票数 1
回答已采纳
我的目标是与发布者和使用者一起创建一个分布式应用程序，在其中我使用CEP处理数据流，以生成事件使用者的事件通知。
Esper和Apache Storm有什么区别？
我能否实现Storm只使用Esper的功能，以及何时应该考虑将Esper与Storm集成？
我很困惑，我以为Esper提供了同样的功能。
浏览 8提问于2017-03-07得票数 3
回答已采纳
在mongodb中使用Apache Storm 2.1.0时，我在Bolt执行中出现错误： java.lang.NullPointerException
at org.apache.storm.mongodb.common.mapper.SimpleMongoLookupMapper.toTuple(SimpleMongoLookupMapper.java:46)
at org.apache.storm.mongodb.bolt.MongoLookupBolt.execute(MongoLookupBolt.java:70)
at org.apache.storm.e
浏览 20提问于2020-11-02得票数 0
2回答
我正在设置一个Apache系统，但在使程序持续运行方面遇到了问题。我已经在三台服务器上设置了风暴，但它只在一台服务器上持续工作。我认为问题就在指挥的道路上。
我一直在使用风暴起动器来设置程序，并在本地使用RollingTopWords进行了测试。当我运行以下命令$ storm jar storm-starter-*.jar storm.starter.RollingTopWords时，计算机暂停一秒钟，然后得到以下错误：
无法找到或加载主类storm.starter.RollingTopWords
jar存储在目录/apache/storm/examples/starter/targe
浏览 3提问于2015-06-01得票数 1
我对maven和storm非常陌生，所以我尝试遵循中的说明。我目前的路径是/home/luc/theTest/storm/examples/storm-starter.在目标文件夹中有一个starter 2.0.0-SNAPSHOT.jar文件。我在跑步的时候被困住了
风暴jar目标/风暴-启动器-*.jar org.apache.storm.starter.ExclamationTopology -local
我知道这个错误
运行中的-Dstorm.home=/home/luc/stormTest/apache-storm-1.1.1 -Dstorm.log.dir=/home/l
浏览 9提问于2017-10-28得票数 2
回答已采纳
我把风暴安装在一个服务器上。我确信动物园管理员、nimbus、主管和ui服务都在正常运行，因为我可以看到这些进程，也可以从浏览器中查看UI。暴java代码可以像预期的那样在eclipse中运行，您可以引用下面的代码来找出本地模式和远程模式的不同之处。
if(args.length == 0)
{
LocalCluster cluster = new LocalCluster();
cluster.submitTopology(TOPOLOGY_NAME, config, builder.createTopology());
Utils.w
浏览 2提问于2016-08-30得票数 0
来自
supervisor.slots.ports：“对于每台工作计算机，您可以配置使用此配置在该机器上运行的工作人员。每个工作人员使用一个端口接收消息，此设置定义了哪些端口是开放的。如果您在这里定义了五个端口，那么Storm将分配最多5个工作人员在这台机器上运行。”
来自
worker ：在一个或多个工作进程中执行拓扑。每个工作进程都是一个物理JVM，并为拓扑执行所有任务的子集。
我的storm.yaml定义：
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
然后我运行一个拓扑，topology.workers设置为3
浏览 3提问于2016-10-13得票数 1
3回答
风暴工人连接
、、
我有个奇怪的问题。我使用Apache0.10.0风暴版本和3.5.1动物园管理员版本。我在同一个网络上有4个不同的vms。
我开始：
本地主机动物园管理员:2181，第一vm(ip XXX.XXX.5.60)
nimbus & ui，第二vm(ip XXX.XXX.5.61)
第3 vm监督1和第4 vm监督4(ips XXX.XXX.5.67和XXX.XXX.5.68)。
这是Nimbus的storm.yaml：
storm.zookeeper.servers:
- "XXX.XXX.5.60"
nimbus.host: "XXX.XXX.5.61"
浏览 6提问于2015-11-27得票数 3
回答已采纳
当遵循starter 中的指南时，我无法实际运行任何拓扑结构--比如ExclamationTopology。
mvn clean install -DskipTests=true成功运行，从顶级Storm执行，mvn package在storm-examples级别运行。
当我试图运行storm jar target/storm-starter-2.0.0-SNAPSHOT.jar org.apache.storm.starter.ExclamationTopology时，会得到以下错误：
Error: A JNI error has occurred, please check your i
浏览 3提问于2016-02-19得票数 8
回答已采纳
我的项目由一些依赖项组成，这些依赖项拉动了相同的公共依赖项。
公共依赖项storm-kafka具有新版本1.0.2和旧版本0.10.0
在构建一个阴影jar时，我在我的fat jar中看到了两个版本的类，不知何故，在执行过程中，较旧的版本被拾取了，这给出了一个ClassNotFoundError，因为与较旧版本相关的其他依赖项不在那里。
jar -xvf my_shaded_fat_jar.jar
find . -name KeyValueSchemeAsMultiScheme.class
./org/apache/storm/kafka/KeyValueSchemeAsMultiScheme
浏览 3提问于2016-09-13得票数 17
1回答
更新与请求-在Storm中的回复
、、、、
我正在构建一个处理2种类型调用的实时API：
最新消息，
计算请求。
在内部，更新会在员工中播放。工作人员在RAM中保持工作数据结构(如哈希表)，并在更新即将到来时修改内容。
当出现计算请求时，正好有一个空闲工作人员使用多个线程处理它，并在RAM中处理本地副本。
我想知道是否可以将当前的实现迁移到Storm。据我所知，Storm非常实时，可以在可扩展性和容错性方面给我很大的帮助。
目前，我使用UWSGI/Python处理API请求，使用Java工作人员进行计算。我正在考虑将Java工作人员作为螺栓放到Storm拓扑中。不过，我不太确定喷出的是什么。
据我所知，我可以通过从pyt
浏览 2提问于2014-06-14得票数 2
我正在尝试将ExclamationTopology示例提交到一个单一节点集群中，并获得以下错误
Exception in thread "main" java.lang.RuntimeException: org.apache.storm.thrift.TApplicationException: Internal error processing beginFileUpload
at org.apache.storm.StormSubmitter.submitJarAs(StormSubmitter.java:507)
at org.apache.storm.StormSub
浏览 4提问于2019-11-25得票数 1
问题就像标题一样，集群启动后没有错误打印在supervisor日志中。每当提交jar时，supervistors的日志中都会报告无法连接本地主机nimbus的错误。
1，这是我的yaml：
storm.zookeeper.servers:
- "beta-hbase02"
- "beta-hbase03"
- "beta-hbase04"
storm.zookeeper.root: "/storm"
nibus.seeds: ["beta-hbase01"]
storm.local.dir:
浏览 4提问于2018-08-21得票数 0
回答已采纳
我从码头中心为风暴1.2.1调出了最新的码头形象。并根据该项目下的自述文档打包了Storm源代码1.2.1中的风暴启动示例项目，并将该包重命名为"topology.jar“。但是当我把jar文件提交到Storm码头时
$ docker run -it -v $(pwd)/topology.jar:/topology.jar storm storm jar /topology.jar org.apache.storm.starter.ExclamationTopology，
发生了以下错误：
运行:/usr/lib/jvm/java-1.8OpenJDK/jre/bin/java -c
浏览 2提问于2018-03-05得票数 1
回答已采纳
我已经在本地设置了一个Apache集群，并提交了一个在Storm UI中可见的拓扑。一旦一切都启动并运行，我将在ui.log文件中获得以下异常。这个错误在某种程度上与storm-kafka-monitor有关，这是一个bash脚本，我正在windows上运行这个脚本。
任何帮助都将不胜感激。(预先谢谢:)
2018-06-05 11:26:20.293 o.a.s.u.TopologySpoutLag qtp1185188034-26 [WARN] Exception thrown while getting lag for spout id: kafka-spout and spout cl
浏览 2提问于2018-06-05得票数 0
回答已采纳
在哪种部署模式下我们可以而不是向ApacheSpark2.3.1中的集群添加节点/工作人员
1.火花独立2. Mode 3. 3.Kubernetes 4.纱线5.局部模式
我已经在我的机器上安装了ApacheSpark2.3.1，并在本地模式下运行了它
在本地模式中，我们可以在Apache中添加节点/工作人员吗？
浏览 0提问于2018-09-27得票数 1
回答已采纳
2回答
我们正在尝试从Storm 0.10.0升级到1.0.2，我们的项目使用
在不同版本之间，backtype.storm包名称被storm-community更改为org.apache.storm包名称。
作为我们升级的一部分，我们不得不将storm-kafka的版本也改为1.0.2
但是当我在storm上运行拓扑时，我得到了关于旧版本中缺少类的错误：
apache-storm-1.0.2/bin/storm \
jar \
$jarFile \
org.apache.storm.flux.Flux \
$yamlFile \
--remote
+- Apache Stor
浏览 9提问于2016-09-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
