Kafka Connector for Oracle Database Source
我想建立一个Kafka连接器，以便从数据库中检索记录在接近实时。我的数据库是Oracle Database 11g企业版11.2.0.3.0版，表中有数百万条记录。首先，我想使用CDC将最小负载添加到我的数据库中。其次，我希望基于某个日期之后具有值的LastUpdate字段来检索记录。
在confluent的网站上搜索，我发现唯一的开源连接器是“Kafka Connect JDBC”。我认为这个连接器没有CDC机制，当连接器第一次启动时，它不可能检索数百万条记录。我认为另一种解决方案是Debezium，但Confluent的网站上没有Debezium Oracle Connector，我相信它还处于测试版。
你会推荐哪种解决方案？我对Kafka Connect JDBC或Debezium Connector的假设有问题吗？有没有其他的解决方案？
回答 2
Stack Overflow用户
发布于 2019-06-27 16:46:07
对于效率较低的查询型CDC，可以使用JDBC source connector。
然而，对于基于日志的CDC，我知道有几种选择，其中一些需要许可证：
1) Attunity Replicate，允许用户使用图形界面创建从生产者系统到Apache Kafka的实时数据管道，而无需进行任何手动编码或脚本编写。几年来，我一直在为甲骨文-> Kafka使用Attunity Replicate，并且非常满意。
2)需要许可证的Oracle GoldenGate
3) Oracle Log Miner，它不需要任何许可证，由Attunity和kafka-connect-oracle使用，它是一个Kafka源连接器，用于从甲骨文捕获所有基于行的Kafka.Change更改，并将这些更改流式传输到Oracle data capture逻辑基于甲骨文LogMiner解决方案。
Stack Overflow用户
发布于 2019-07-03 23:35:38
我们有许多客户使用IBM的IIDR (info sphere Data Replication)产品从Oracle数据库(以及Z大型机、i系列、SQL Server等)复制数据。变成卡夫卡。
无论使用哪种来源，数据都可以在Kafka中标准化为多种格式之一。一个包含的、可选格式的示例是...
该解决方案具有很高的可伸缩性，可以将更改复制到每秒100,000行中。
我们也有一个专有的能力，可以将与Kafka并行写入的数据重新构建回其原始的源顺序。因此，尽管数据已经被写入许多分区和主题，但原始的总顺序是已知的。此功能称为TCC (事务一致消费者)。
请看这里的视频和幻灯片。https://kafka-summit.org/sessions/exactly-once-replication-database-kafka-cloud/
https://stackoverflow.com/questions/56786565
复制相似问题
腾讯云开发者
