Kafka如何知道源数据何时发生更改？
Kafka如何知道源数据何时发生更改？
提问于 2018-01-13 02:35:09
我找不到一个明确的答案，所以我想我应该请教专家。Kafka如何观察和检测给定源中的哪些数据发生了变化？例如，在关系数据库中？
我想到了轮询，但它不是必须维护每个可用表的所有主键的数据集，然后运行检查新的主键是否可用吗？既然内存可能不够持久，那么它存储在哪里呢？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-01-13 10:10:37
这是一个非常普遍的问题，所以你可以想象答案是“视情况而定”。卡夫卡本身并没有追踪到这一点。这是由您拥有的任何Kafka客户端实现来完成的。例如，如果您实现了一个Kafka Connect源连接器，那么您可以将偏移量存储到检查点，以检查在Kafka本身中读取了哪些数据。如果你只是写一个制作人，那就是另一回事了。在Confluent JDBC源连接器中可以找到一个非常通用的示例。它有多种加载模式，可以让您了解灵活性https://docs.confluent.io/current/connect/connect-jdbc/docs/source_connector.html#features
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48232162
复制相关文章
相似问题