问如何配置Kafka RPC调用者主题和组

EN

我正在尝试使用Kafka作为消息代理来实现RPC架构。使用Kafka而不是其他message broker解决方案的决定由当前上下文决定。

实际的实现包括两种不同类型的服务：

• receiver ：此服务接收来自Kafka topic的消息，Kafka topic消费并处理消息，然后将响应消息发布到响应主题；
• caller：此服务接收HTTP请求，然后将消息发布到receiver主题，消费响应消息的receiver服务的响应主题，然后将其作为HTTP响应返回。

主题中发布的请求/响应消息通过消息键进行关联。

接收器实现相当简单:在启动时，它创建“请求”和“响应”主题，然后开始使用具有服务组id的请求主题(接收器的许多实例将共享相同的组id，以便实现适当的请求平衡)。当请求到达时，服务处理该请求，然后在响应主题中发布响应。

我的问题出在caller实现上，特别是在使用来自响应队列的响应时。

假设如下：

HTTP请求必须托管concurrently;

• There可以是此调用程序服务的多个实例。

每个线程/服务都必须接收响应主题中的所有消息，以便找到具有相应请求关键字的消息。

例如，假设两个接收方服务生成两条消息，分别具有密钥1和2。这些消息将在receiver主题中发布，并进行处理。然后，响应将在主题receiver-responses.中发布如果两个接收方服务共享相同的组id，则可能是响应1到达发布消息2的服务，反之亦然，从而导致HTTP超时。

为了避免这个问题，我设法想出了以下可能的解决方案：

1. 为每个请求创建一个新的主题组(：但是组不能通过代码删除，因此需要另一个服务从这些中清除zookeeper为每个请求创建一个新的主题，然后将其删除。

希望我说得足够清楚--我必须承认我是卡夫卡的初学者--我的问题是：

哪种解决方案比其他解决方案成本更高？或者是否有其他主题/组配置可以实现假设的3

谢谢。