我使用源连接器的以下配置来过滤和读取MongoDB中状态为"PENDING“的特定记录。只需轮询插入/更新为挂起状态的所有记录。如果管道被排除,源连接器能够轮询所有记录。有人能帮助我理解如何解决这个问题吗?还有,有没有一种方法可以知道轮询已经完成,就像批处理作业已经完成一样,以便在kafka消费者上编排另一个进程?
name=mongo-source-demo
connector.class=com.mongodb.kafka.connect.MongoSourceConnector
tasks.max=1
# Connection and source configuration
c
我有一个从MEMSQL获取数据并返回给客户机的.net核心服务。但是,服务生成的查询需要记录到Kafka集群中。
我尝试安装Confluent.Kafka包并做日志记录,它在本地运行时运行良好。但在容器中,服务无法记录并生成以下错误:
warning NU1701: Package 'librdkafka.redist 0.9.5' was restored using '.NETFramework,Version=v4.6.1' instead of the project target framework '.NETCoreApp,Version=
我是Kafka的新手,正在尝试建立一个管道,将我的apache httpd日志连接到mongodb。 我有用Kafka Output从Filebeat产生的数据。然后,我使用Kstreams从主题中读取数据,并将数据mapValues到不同的主题。然后使用Kafka Connect to a database (MongoDB)将数据下沉。不幸的是,我的Filebeat中的数据没有ID。 我如何为它们创建ID,因为我希望在将文档沉入mongodb之前创建一个唯一的ID并将其插入文档中?我希望这可以在mapValues转换中实现;