如何在同一主题上生产和消费不同的avro实体？
在同一主题上生产和消费不同的Avro实体，可以通过以下步骤实现：
- 定义Avro模式：首先，需要定义不同Avro实体的模式。Avro模式是一种用于序列化和反序列化数据的结构定义语言，类似于JSON或XML。可以使用Avro模式定义语言（Avro Schema Definition Language）来定义模式。在模式中，可以定义实体的字段、类型和其他属性。
- 生产者端：在生产者端，需要使用Avro序列化器将不同的Avro实体转换为字节流，并将其发送到同一主题。Avro序列化器可以根据预定义的Avro模式将实体序列化为二进制格式。在发送消息时，需要指定消息的键和值，其中键用于消息的分区和路由，值是Avro实体的字节流。
- 消费者端：在消费者端，需要使用Avro反序列化器将接收到的字节流转换为相应的Avro实体。消费者可以从同一主题订阅消息，并使用Avro反序列化器根据预定义的Avro模式将字节流反序列化为实体。消费者可以根据实际需求对接收到的消息进行处理。
总结： 在同一主题上生产和消费不同的Avro实体，需要定义Avro模式来描述实体的结构。生产者端使用Avro序列化器将实体序列化为字节流并发送到主题，消费者端使用Avro反序列化器将接收到的字节流反序列化为实体。这样可以实现在同一主题上处理不同类型的Avro实体。
腾讯云相关产品推荐： 腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储等。其中，与消息队列相关的产品是腾讯云消息队列 CMQ（Cloud Message Queue）。CMQ是一种高可靠、高可用的消息队列服务，支持多种消息协议和消息格式，包括Avro。您可以使用CMQ来实现在同一主题上生产和消费不同的Avro实体。
腾讯云消息队列 CMQ产品介绍链接地址：https://cloud.tencent.com/product/cmq
相关·内容
1回答
Martin Kleppmann (在Confluent博客上)的这篇文章说，同一个kafka主题中可能有不同的事件类型：Should You Put Several Event Types in theSame Kafka Topic 下面是相关的代码更改请求：New (key|value).multi.type option for Avro serialization 我的问题是，如何才能做到这一点我如何定义和配置生产者
浏览 6提问于2019-01-10得票数 1
回答已采纳
我正在尝试使用Confluent模式注册表，它在Github (https://github.com/gAmUssA/springboot-kafka-avro)中找到的一些例子对我很有效。当消费者和生产者共享与模型相同的命名空间而不是其工作时。 当使用者在不同的项目中，具有不同的命名空间，但具有相同的类(名称和属性)时，它将不起作用。Con
浏览 13提问于2020-01-27得票数 0
回答已采纳
2回答
我想知道是否允许它生成具有JSON键模式和AVRO值模式的消息。 对生产者记录的混合和匹配模式类型有限制吗？ 模式注册中心会禁止它吗？这被认为是一种糟糕的做法吗？
浏览 22提问于2020-08-20得票数 0
回答已采纳
1回答
我对Kafka比较陌生，我正在尝试在主题上发送消息后催生消费者。
单个生产者在不同的分区上发送200msg。consumer-1已经在运行，consumer-1正在侦听所有4个分区，并且在几秒钟内，同一组中的另一个使用者( consumer -2)被启动。然后，Kafka触发组的重新平衡，但所有初始的200 msg将流向consumer-1，而新的msg将流向consumer-2。创建新的消
浏览 0提问于2020-12-24得票数 0
我收到一个卡夫卡主题的二进制Avro文件，我必须反序列化它们。在Kafka收到的消息中，我可以在每条消息的开头看到一个模式。我知道不嵌入模式并将其与实际的Avro文件分离是一种更好的做法，但我无法控制生产者，也无法改变这一点。
我的代码运行在Apache Storm之上。at org.apache.avro.io.ResolvingDecoder.<init>(ResolvingDecoder.java:
浏览 3提问于2017-06-01得票数 3
1回答
我们希望废弃旧的模式，但仍然为老消费者留下一段短时间来调整，而让新消费者忽略没有必填字段的消息。我读到Kafka通常允许两个完全不同的模式发送到同一个主题，让消费者选择消费哪个模式，但我猜如果你使用Avro，这是不可能的？有没有办法让同一主题的这两个不兼容的模式在一段时间内不添加任何默认值？旧模式将在一段时间后被删除，并且在弃用周期过去后，将不会
浏览 0提问于2021-04-02得票数 0
Y上有X个生产者将消息发送到远程计算机上的JMS队列。JMS队列配置了一个主服务器和一个备份。Y机器上的X个消费者正在消耗队列中的消息。主机和备用机都在不同的机器上。当主程序关闭时，生产者和消费者需要继续处理消息。当主人回来的时候，消费者和生产者需要回到主人那里。
我已经多次阅读红帽出版<em
浏览 21提问于2021-12-07得票数 0
回答已采纳
我是Spring集成的新手；如果我没理解错的话，spring集成有3个关键角色；2个订阅者我能理解使用DB/文件系统作为队列的发布者和订阅者框架。如果发布者和订阅者本身是单独进程，它们如何共享通道？通道是否可供发布者进程和订阅者进程访问，因为它们运行在相同的JVM中？
浏览 0提问于2017-03-10得票数 1
我是新来卡夫卡的。当我在命令行中运行快速入门示例时，我发现我不能在命令行中创建多个使用者。我用3个分区构建了一个名为test的主题，我还在这个主题上构建了一个生产者。然后我想创建两个不同的消费者，在这个主题上共享一个名为test1的相同的消费者组。那么，如何在命令行中的同一消费者组中创建两个或多个消费
浏览 0提问于2014-10-10得票数 15
我的应用程序创建一些主题，并在这些主题上创建生产者和消费者。
当生产者发送一些东西时，它会收到返回的消息，因为在同一主题中也有一个关于此主题的消费者。每个应用程序都有一个专门的主题(不同的代码，用于运行它的不同计算机)，并且有一个主要的中央核心进程，它将加入每个主题来处理消息，然后回复发布请求消息的</
浏览 7提问于2016-08-19得票数 0
回答已采纳
我正在构建一个使用spring引导的web应用程序，现在我有了接收实时通知的要求。我计划使用apache作为消息代理。这样的要求是，有不同角色的用户，根据角色，他们应该收到其他用户正在做的事情的通知。
我确实建立了一个单一的生产者和消费者，作为一个消费者，我可以接收发布到一个主题上的信息，比如topic1。我陷入困境的部分是，我
浏览 3提问于2020-02-10得票数 1
回答已采纳
我在富化器上的错误通道被调用，但是错误通道接收到的消息是一个异常，并且该异常中失败的消息不再是我的MasterObj (原始有效负载)，而是现在从富化器上的请求-有效负载-表达式获得的对象。enricher调用出站网关，而这在业务方面是可选的。我只想用我一直在丰富的有效负载继续我的工作流程。文档说enricher上的错误通道可以用来提供一个替代对象(enricher的请求通道将返回的</em
浏览 4提问于2017-03-12得票数 0
关于Kafka和schemas如何处理Avro序列化消息，我在中了解了模式ID存储在每个消息中的一个可预测的位置，因此我们似乎可以在相同的主题中获得不同模式的消息，并能够找到正确的模式并在此基础上成功地反序列化它们另一方面，我看到许多人似乎在使用表达式“一个附加在主题上的模式”，但这意味着每个主题都有一个模式。
那哪个是对的？我能否利用模式注册中心(如KSql)的
浏览 0提问于2019-01-21得票数 5
回答已采纳
1回答
例如，有几个Order实体的更新事件即将到来，而我的系统需要以相同的顺序使用特定Order的事件。在这种情况下，当发布到Kafka主题时，我将使用order-id作为分区键。在Jetstream世界中，特定orderId的所有订单是否都会到达同一消费者组中的同一消费者，从而保持顺序？ 编辑1 这是我从@tbeets的建议中得到的。但是在这个consumerGrou
浏览 216提问于2021-08-30得票数 5
1回答
对于使用交换/队列/主题的组合，有什么解决方法吗？这是我的用例。
假设我有一个生产者服务器和两个消费者服务器，其中有多个消费者线程在使用队列中的线程。生产者服务器创建一个网络、一个子网和多个端口。现在，我如何保证同一线程处理属于同一网络的所有这些请求。在ActiveMQ或Artemis中，我们可以将JMSXGroupId设置为网络名称，并确保消息由相同的
浏览 2提问于2017-05-19得票数 1
2回答
我正在尝试使用spring云流绑定来实现一个自定义的Kafka分区工具。我只想自定义分区的用户主题，而不做任何与公司主题(卡夫卡将使用DefaultPartitioner在这种情况下)。我的绑定配置：spring: stream: comp-out:Reason: No setter found
浏览 0提问于2019-06-20得票数 3
我有两个java项目，它们产生和使用来自Kafka的消息，一个项目生成一个Ticker类型的消息，另一个项目使用这个消息。我需要一种在整个项目中共享proto文件的方法(我现在拥有的2个项目以及任何需要访问Ticker的未来项目)。做这件事最好的方法是什么？我听说过一些关于git子树或子模块的东西，它是一种好的/可靠的方法吗？分别在包/命名空间com.myorg.TickerProducer.Entities<em
浏览 3提问于2018-02-15得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
