火花流中有spark.streaming.kafka.maxRatePerPartition属性，它限制每秒从Apache读取消息的数量。斯托姆也有类似的财产吗？
浏览 2提问于2016-06-10得票数 0
回答已采纳
1回答
org.apache.storm.generated.AuthorizationException;import org.apache.storm.kafka.KafkaSpoutOffsetRequest.EarliestTime(); builder.setSpout("KafkaSpout", new
浏览 6提问于2018-01-24得票数 0
我正在使用KafkaSpout消费来自卡夫卡的信息。这些消息是用gzip压缩org.apache.kafka.clients.producer.KafkaProducer生成的props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG如何将KafkaSpout中的压缩类型设置为使用未压缩的消息？
浏览 2提问于2016-03-14得票数 0
回答已采纳
1回答
所以，如果我有KaffkaSpout，它发出的是根据时间戳排序的元组，并且有一些螺栓，并根据某个id进行字段分组。
浏览 0提问于2017-11-15得票数 1
回答已采纳
2回答
我对Storm并不熟悉，而且我也有一些问题要解决如何按顺序处理记录。user_id，location_id，time_of_checking我正在使用Kafka制作人并从文件中读取这些记录来模拟实时数据。数据按日期排序。如何克服这个问题？如何按顺序处理记录？
浏览 0提问于2015-10-08得票数 0
回答已采纳
KafkaSpout正在读取来自主题的消息，然后将其传递给大家。螺栓在完成后插入，喷口向前移动到下一条消息。
我有两个主管在运行--每个人都在运行3个工人。因此，在任何给定的时间，6条消息在风暴集群中被并行处理。如果第二条消息失败，或者是由于员工关闭，或者是由于主管关机，怎么办？动物园管理员已经指向了消费者组的7条消息。在这种情况下，如何处理第二条消息？
浏览 5提问于2016-01-03得票数 0
回答已采纳
下面是我的拓扑代码示例：builder.setBolt("bolt1", new Bolt1).shuffleGroupingBolt2).shuffleGrouping("bolt1");当bolt1发出时，消息将被自动确认。但当
浏览 5提问于2018-07-23得票数 0
回答已采纳
2回答
在风暴拓扑中，KafkaSpout执行器的数目是9，默认情况下，任务的数量也应该是9。而‘提取’螺栓是唯一的螺栓连接到KafkaSpout，‘日志’喷口。根据我的理解，这意味着螺栓确实收到了从喷口发出的信息，但ack信号在飞行中暂停。这个问题可以通过增加超时秒和释放挂起消息号来解决。但是这
浏览 2提问于2016-03-24得票数 4
回答已采纳
1回答
<init>(ZkState.java:62) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating] at backtype.storm.daemon.executor<init>(ZkState.java:62) ~[storm-kafka-0.
浏览 6提问于2015-05-16得票数 10
回答已采纳
我一直在向Kafka主题发送消息，这些消息在主题中是JSON格式的，我正在使用KafkaSpout从Kafka获取消息，并使用shuffle分组将其发送到螺栓。现在我想实现KafkaSpout和bolt之间的字段分组。请任何人能在这方面帮助我。如何在KafkaSpout和螺栓之间实现字段分组。
浏览 1提问于2015-09-07得票数 0
1回答
最近我遇到了一个非常奇怪的问题。storm集群有3台机器。拓扑结构是这样的，Kafka Spout A -> bolt B -> Bolt。我已经确认了每个螺栓中的所有元组，即使可能在螺栓内部抛出异常(在螺栓执行方法中，我尝试捕获所有异常，最后确认元组)。但这里发生了奇怪的事情。我打印了喷嘴的日志，在一台机器上，所有的元组都被喷嘴破解了，但在另外两台机器上，几乎所有的元组都失败了。60秒后，元组一次又一次地重放。“几乎”表示在开始时，其他两台机器上的所有元组都失败了。一段时间后，在两台机器上有少量的元组。
由于超时，元组绝对会失败。但我真的不知道他们为什么会超时。根据我打印的日志，
浏览 0提问于2017-06-08得票数 0
(还有一些关于超时和maxSpoutPending的问题)最后，这与超时配置有关吗？在发出新消息之前，突发事件
浏览 0提问于2015-11-05得票数 4
回答已采纳
1回答
和配置使用BaseRichBolt，一个KafkaSpout和两个螺栓-A，螺栓-B元组是锚定在螺栓-A一旦螺栓-B承认它将被认为是一个成功处理的元组和它将被提交。但是，问题是由于某种原因，一些失败消息在KafkaSpout中被复制。KafkaSpout在处理它时发出1000个元组，原因是有将近20个元组失败了(在bolt处)。
浏览 0提问于2017-10-26得票数 0
1回答
在我们的1.0.2应用程序中，我们面对内存不足的exceptions.Upon调试，我们看到卡夫卡喷口向螺栓发出了太多的消息。螺栓的运转能力几乎达到4.0。我们正在使用KafkaSpout的开箱即用实现，并且扩展了螺栓的BaseRichBolt，.Our DAG是线性的。
浏览 3提问于2017-06-15得票数 4
在我的拓扑中，我从Kafka队列读取触发器消息。在接收到触发消息时，我需要向闪电发送大约4096条消息。在螺栓中，经过一些处理后，它将发布到另一个Kafka队列(另一个拓扑稍后将使用它)。我正在尝试设置TOPOLOGY_MAX_SPOUT_PENDING参数来限制要发送的消息的数量。但我看到它没有任何效果。是因为我在一个nextTuple()方法中发出了所有的元组吗？
浏览 1提问于2015-09-28得票数 3
我使用一个KafkaSpout来发出数据(它在“默认”流上发出数据)。不知道如何复制卡夫卡喷泉的排放水平。如果我可以复制流，那么在这两个流中的任何一个上的重播只会在特定的流上重新发出消息，就在喷出的级别上，而另一个流则保持不变，对吗？
蒂娅！
浏览 4提问于2016-10-04得票数 2
回答已采纳
我正在尝试将从KafkaSpout发出的记录与Oracle表中的记录进行连接(不是流连接)想要得到关于这方面的建议。
浏览 0提问于2016-06-13得票数 0
1回答
但是当我提交拓扑时，它的spout不会发出任何东西。请帮帮我!！consumer offsets in Zookeeper
builder.setSpout(&qu
浏览 1提问于2015-07-31得票数 0
我使用KafkaSpout从一个主题中读取一条消息，该消息是由一个生产者发送的，该生产者读取这些Tweet并将它们发送到一个主题。我的问题是，在拓扑使用了该主题中的所有tweet send之后，它会继续读取该主题中的消息两次。如何阻止KafkaSpout读取两次？(复制因子设置为1)
浏览 7提问于2019-05-24得票数 1
回答已采纳
我从kafka主题中获得3MB的消息流，但默认值是1MB。2048576 ( server.properties )现在，在Kafka中添加上述行之后，3MB消息数据将进入, consumerGroupId);
KafkaSpoutkafkaSpout =
浏览 1提问于2016-03-22得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
