如何将卡夫卡与赫鲁库的Postgres连接起来
我有一些卡夫卡消费者和生产者运行我的卡夫卡实例在我的Heroku集群。我希望创建一个数据接收器连接器，将Kafka连接到PosytgreSQL，将数据从Kafka放到我的heroku PostgreSQL实例中。有点像HeroKu文档，但有一种方式。
我不知道我需要采取什么步骤来实现这一目标。
医生们说要查看Gitlab或汇合点生态系统页面，但我在这些页面中找不到任何关于Postgres的内容。
在合流卡夫卡连接器库中，似乎有来自Debezium的东西，但我没有运行合流。
Heroku博士中的图表提到了一个JDBC连接器？我发现了这个Postgres JDBC驱动程序，我应该用这个吗？
如果需要的话，我很乐意创建一个用户并手动更新postgres，但是我觉得Kafka到Postgres必须是一个足够通用的界面，应该有一些东西来管理它？
我只是在寻找一些高水平的帮助或例子，让我走上正确的道路。
谢谢
回答 1
Stack Overflow用户
发布于 2021-02-02 13:57:52
你就快到了
请记住，Kafka是Apache的一部分，您可以得到各种各样的连接器。有些(例如Debezium)是Red的社区项目，另一些(例如JDBC Sink)是来自汇合式的社区项目。
JDBC Sink连接器允许您将数据从Kafka流到带有JDBC驱动程序的数据库(如Postgres )。
下面是一个示例配置：
{
"connector.class" : "io.confluent.connect.jdbc.JdbcSinkConnector",
"key.converter" : "org.apache.kafka.connect.storage.StringConverter",
"connection.url" : "jdbc:postgresql://postgres:5432/",
"connection.user" : "postgres",
"connection.password": "postgres",
"auto.create" : true,
"auto.evolve" : true,
"insert.mode" : "upsert",
"pk.mode" : "record_key",
"pk.fields" : "MESSAGE_KEY"
}这里有一个演练和几个视频，您可能会发现这些视频很有用：
我真的需要安装任何东西吗
卡夫卡连接与阿帕奇卡夫卡。你需要安装JDBC连接器。
我真的需要写代码吗？
不，只是配置，类似于我上面引用的
我能叫一下Connect端点吗卡夫卡附带的
一旦拥有了安装连接器，就可以运行Kafka ( Apache附带的二进制文件)，然后使用使用配置创建连接器的REST端点。
https://stackoverflow.com/questions/66010842
复制相似问题
腾讯云开发者
