kafka广播消息 - 腾讯云开发者社区

文章/答案/技术大牛

发布

3回答

Apache Kafka消息广播

java、apache-kafka

我正在研究Apache-kafka，有一些困惑。请帮助我理解以下场景。所以我的问题是:这10个消费者如何与主题分区p1交互。

浏览 0提问于2018-08-06得票数 0

4回答

Kafka:生产者如何才能只发送给某个Consumer/GroupId

apache-kafka

自从我开始使用Kafka以来，我注意到Kafka正在广播每个消费者或群体的消息。如何让生产者只将消息发送给某个特定的消费者？我说的是一个主题系统谢谢

浏览 1提问于2018-01-04得票数 0

1回答

如何在Lagom中将消息发布到Kafka主题

java、apache-kafka、lagom

尝试一个微服务，其中我接收一条kafka消息，并在一些处理之后发布另一条消息到不同的kafka主题。基于这个link，我的理解是，应该在构造的主题上发布一条消息-特别是我提到的示例代码的这一部分。KafkaEvent.class, id)); System.out.println("Sent to:" + topic.toString()); 我没有在kafka

浏览 5提问于2019-09-16得票数 0

3回答

发送给具有相同使用者组名称的所有使用者的消息

apache-kafka

消费者代码如下：from kafka.consumer import SimpleConsumer print message 然后我用脚本生成消息： bin/kafka-console-producer.sh --broker-listlocalhost:9092 --topic my-

浏览 0提问于2014-02-16得票数 2

回答已采纳

1回答

如何在服务器实例之间共享HTTP2 2/gRPC流？

go、microservices、grpc、http2

make(chan error),} 广播消息是通过循环连接并使用stream.Send推送消息来完成的。

浏览 4提问于2022-11-17得票数 0

1回答

发布订阅模式下Kafka消息处理规模如何？

apache-kafka

所有的人，请原谅我，我是一个新手刚刚开始的Kafka。目前，我正在阅读Kafka关于的文档。对于传统的信息系统。它们不能缩放消息处理。因为但是对于Kafka来说。文档说，即使在发布-订阅模式下，Kafka也可以扩展消息处理。(如果我错了，请纠正我。谢谢。) 卡夫卡的消费群体概念概括了这两个概念。与发布订阅

浏览 1提问于2017-07-16得票数 0

1回答

在Flink数据流中进行元数据连接的最佳方式是什么？

apache-flink、flink-streaming

我们有一个kafka事件流，我们希望使用驻留在MySQL DB中的一些元数据来丰富它。有没有更好的办法？

浏览 0提问于2021-04-02得票数 0

2回答

向同一消费者组内的所有订户广播消息

apache-kafka

使用apache-Kafka版本2.11-2.4.0。我正在创建一个应用程序，我想在其中向同一消费者组中的所有订阅者(消费者)发布事件。但在许多地方，我发现Kafka向消费者群体广播消息。

浏览 23提问于2020-01-09得票数 1

回答已采纳

2回答

从kafka发送消息到websocket

go、apache-kafka、websocket

在这个项目中，我还使用了一些来自特定主题的kafka消息。我想要实现的是把我从主题中接收到的信息倾注到websocket中。因此，通信只是一种方式，超过一个人可以连接到网络套接字，并看到消息进来。我想要使用通道，所以在接收kafka消息的函数中，我有如下所示：在gin框架中，我创建了如下所示： </body> &l

浏览 11提问于2022-03-22得票数 0

回答已采纳

1回答

Kafka -发布给组中的所有消费者

java、spring-boot、apache-kafka

所以，简而言之，我想让我在同一组中的所有服务接收那里的所有消息。(一次/消息) 我如何使用Kafka实现这一点？谢谢你对我的照顾。

浏览 25提问于2020-04-13得票数 0

回答已采纳

1回答

如何将alpakka kafka与akka流websocket相结合

scala、websocket、apache-kafka、akka、akka-stream

我使用使用kafka的数据，如下所示：implicit val materializer: Materializer = ActorMaterializer() val config = system.settings.config.getConfig("akka.kafka.consumerRuntimeException(s"Connection failed: ${upgrade.res

浏览 0提问于2019-04-11得票数 1

回答已采纳

1回答

为什么spring-cloud-config示例测试需要旋转配置服务器？

java、spring-cloud、spring-cloud-stream、spring-cloud-config、spring-cloud-bus

我还使用了Spring Cloud Stream Kafka和Spring Cloud Bus，同时启用了Spring Security基本身份验证。

浏览 7提问于2018-07-09得票数 0

1回答

使用两个独立的应用程序(storm和spark streaming)消费Kafka消息

apache-kafka、spark-streaming、apache-nifi

我们使用Storm开发了一个摄取应用程序，它使用Kafka消息(一些时间序列传感器数据)并将这些消息保存到Cassandra中。我们使用Nifi工作流程来实现这一点。我现在要开发一个单独的星火流应用程序，它需要消费这些Kafka消息作为源。我想知道为什么当两个应用程序与一个Kafka Chanel交互时会出现问题？我是否应该将Nifi中的Kafka消息复制到另一个Chanel，以便我的Spark Streaming应用程序使用它们，但这是一个开销。

浏览 0提问于2017-04-30得票数 0

2回答

JMS与特定条件下的Kafka

jms、apache-kafka

Kafka保证有序投递和多订阅者。卡夫卡是怎么做到的？Q1:在这种情况下，哪个更好？请给我提个建议。

浏览 1提问于2017-03-08得票数 18

回答已采纳

4回答

Kafka使用者为主题获取元数据失败

apache-kafka、kafka-consumer-api

我试图为第三方的Kafka和ZooKeeper服务器编写一个Java客户机。我能够列出和描述主题，但当我尝试阅读任何主题时，都会引发ClosedChannelException。:73) at kafka.producer.SyncProducer.send(SyncProducer.scala:113)

浏览 4提问于2015-06-02得票数 39

回答已采纳

2回答

Flink运算符中的内存查找

apache-flink

该应用程序由Kafka作为事件源、协同映射函数和Kafka接收器组成，如下图所示：我想用CSV文件中的一些字段丰富Kafka输入的流。我还希望定期刷新配置磁盘位置的csv文件。潜在的解决方案:广播丰富的数据，并连接来自卡夫卡的事件流，基于某种逻辑。是否有更好的设计来使用CSV文件实现内存中的查找？

浏览 1提问于2022-02-19得票数 0

2回答

KafkaUtils010 SparkStreaming中的MessageHandler

scala、apache-spark、apache-kafka、spark-streaming

我想按主题分组，或者在申请时知道消息来自哪个主题： ssc, Array(topicConfig.srcTopic), )然而，在最新的API中，kafka0

浏览 16提问于2017-03-15得票数 0

回答已采纳

1回答

在hyperledger fabric中如何在对等通道中传递两个排序者的创建？

hyperledger-fabric、hyperledger

我正在探索基于Kafka排序的Hyperledger fabric，当我尝试使用CLI创建通道时，我需要传递排序程序。我现在已经使用Kafka创建了两个订单器，但是如何在创建通道时传递两个订单器。

浏览 0提问于2019-03-02得票数 0

1回答

改进Flink广播性能

apache-flink、flink-streaming

我有一条在事件流上应用转换规则(来自广播状态)的管道；当我并行运行广播流和原始流时，流性能确实很好，但是当我执行广播转换性能时，会急剧下降。我怎样才能获得更好的表现。我附上了这两种场景的快照：顶层行显示来自Kafka的流消费事件，底部行显示从另一个主题中消耗的规则。I已将广播流与数据流连接起来，以便将来进行处理。请注意，仅为了测量广播的性能，我确保数据流(顶部行)中没有使用任何记录。在广播状态的处理端，我只将接收到的消息存储到MapState。

浏览 7提问于2020-09-10得票数 0

回答已采纳

1回答

Flink维护配置状态

java、apache-flink、flink-streaming

我有一个在Flink中维护配置的用例，我真的不知道如何处理。假设我在某个地方存储了一些配置，我需要它来执行我的处理。在初始化Flink作业时，我希望加载所有配置。此配置也可以在运行Flink作业期间修改，因此我必须在内存中保留此配置的状态，并在需要时对其进行更新。可以从KafkaSource访问配置的更新。所以这就是我所拥有的：我有一个函数可以加载整个配置，使其处于一种状态，并将其与我的数据流相关联： public class MyConfiguration extends RichFlatMapFunction<Row, Row>{ private transi

浏览 14提问于2019-10-09得票数 1

回答已采纳

点击加载更多