我计划建立一个MySQL to Kafka流程,最终目标是安排一个流程,根据更改后的数据重新计算mongoDB文档。
这可能涉及直接修补mongoDB文档,或者运行将重新创建整个文档的进程。我的问题是,如果对MySQL数据库的一组更改都与一个mongoDB文档相关,那么我不想为每个更改实时地重新运行重新计算过程,我希望等待更改“结算”,以便只在需要时运行重新计算过程。有没有办法“揭穿”Kafka流?例如,对于Kafka消费者,有没有一个定义良好的模式可以用来实现我想要的逻辑?
我将binlog mysql中的数据同步到kafka,有时binlog文件被删除,重新启动连接器时出现错误
org.apache.kafka.connect.errors.ConnectException: The connector is trying to read binlog starting at binlog file 'mysql-bin.000003', pos=154, skipping