问kafka主题字段数量和格式指南
EN

Stack Overflow用户

提问于 2019-01-08 05:23:45

回答 1查看 396关注 0票数 0

致力于创建新的Kafka主题以分享一些信息，您能否帮助行业明智的最佳实践：

字段的数量？Kafka主题能有200个字段那么大吗？

要使用的消息格式( Avro/ JSON？)

保留天数

发布于 2019-01-08 06:11:57

Kafka没有字段数量的概念。它是基于日志的消息传递系统，其中每个事件代表一个包含键、值和时间戳的记录。

Kafka topic可以拥有配置message.max.bytes中定义的最大事件大小。默认情况下设置为1 MB，表示一个事件大小不能大于1MB。但您可以根据需要更改该值并存储所需的任意数量的数据(包含100、200、300等)。

不建议使用P.S. Kafka存储大消息(即50MB)。

关于消息格式，Avro在其他数据格式中非常流行，但这取决于您的业务使用情况。Avro是紧凑的，并具有模式演化支持。

关于数据格式比较，这里有一些值得阅读的要点。https://www.confluent.io/blog/avro-kafka-data/

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54082102

复制

相似问题

问kafka主题字段数量和格式指南EN