某种程度上:
Select * FROM myVeryOwnTable WHERE type = "VERY_IMPORTANT_TYPE"
我注意到,当我选择增量(+timestamp)模式时,我不能在自定义查询中使用WHERE
子句,否则我需要注意是否要自己过滤。我想要实现的背景是,我使用Logstash将某种类型的数据从MySQL传输到ES。然而,使用Kafka,在数据库中插入新行后,我可以更快(几乎立即)地传输我的数据。
感谢您的任何提示或建议。
query=select * from (select * from myVeryOwnTable p where type = 'VERY_IMPORTANT_TYPE') p
topic.prefix=test-mysql-jdbc-
incrementing.column.name=id
然而,我期望的是一个主题test-mysql-jdbc-myVeryOwnTable
,所以我已经注册了我的用户。但是,使用上面显示的查询将跳过表名,因此我的主题的名称与上面定义的前缀完全相同。因此,我刚刚更新了我的属性topic.prefix=test-mysql-jdbc-myVeryOwnTable
,它似乎工作得很好。
发布于 2019-04-07 17:02:49
您可以在Jdbc Source Connector query
属性中使用子查询。
JDBC源连接器配置示例:
{
...
"query": "select * from (select * from myVeryOwnTable p where type = 'VERY_IMPORTANT_TYPE') p",
"incrementing.column.name": "id",
...
}
https://stackoverflow.com/questions/55557009
复制相似问题