MySQL 中的变更数据捕获 - 腾讯云开发者社区

文章/答案/技术大牛

发布

6回答

MySQL中的变更数据捕获

mysql、sql

在我的数据库中，我想要跟踪列的值，无论它何时被更改，这样每次字段的值更改时，我们都可以知道前一个值是什么，如果能为每次更改分配时间戳，.It将是非常棒的。我使用MySQL作为数据库服务器。

浏览 3提问于2010-12-09得票数 6

1回答

将MySQL数据复制到ClickHouse

mysql、clickhouse

我希望定期将MySQL数据库中的数据插入到clickHouse中，也就是说，当数据在mySQL数据库中添加/更新时，我希望将数据自动添加到clickHouse中。我正在考虑使用变更数据捕获(CDC)。CDC是一种捕获对MySQL中的数据</

浏览 4提问于2021-08-16得票数 0

回答已采纳

1回答

MYSQL CDC(变更数据捕获)

mysql、mongodb、triggers、etl、change-data-capture

我正在寻找一种方法来捕获mysql插入，更新，删除操作，并触发应用程序或脚本使用这些修改的数据插入到mongodb中的自定义格式。

浏览 3提问于2015-09-18得票数 0

1回答

将MySQL* RDS表同步到Snowflake*

etl、amazon-rds、snowflake-cloud-data-platform、change-data-capture

我有一个保存配置/维度表的MySQL RDS数据库。我也有交易数据流入Snowflake。我希望在Snowflake中同步MySQL表，以便它们在Snowflake中可用，因为我将编写一个计算作业，该作业将在Snowflake中连接配置/维度表和事务数据。以特定频率将表从MySQL同步到Snowflake的最佳方式是什么？

浏览 4提问于2021-04-23得票数 0

1回答

Server 2008 R2与MongoDB之间的实时同步

mongodb、data-migration、data-synchronization、sql-server-2008r2-express

我已经在Express中创建了自定义脚本，它实际上将Server数据库迁移到MongoDB。然后从updated_by和Server数据库中获取最新的MongoDb行。然后，我检查日期差异，并根据它更新我的MongoDB数据库。有很多数据库表，我发现很难识别，哪些表正在

浏览 3提问于2015-03-18得票数 4

1回答

Python:如何使用熊猫数据更新(覆盖) Google BigQuery表

python、pandas、google-bigquery

我在Google BigQuery(GBQ)中有一个表，其中有近300万条记录(行)，这些记录(行)是根据每天来自MySQL db的数据创建的。这个数据插入到GBQ表中，使用Python大熊猫数据框架(.to_gbq())。在这个方向上，用python同步从MySQL到GBQ更改的最佳方法是什么。

浏览 3提问于2018-05-21得票数 1

2回答

是否可以检索添加到数据库表中的所有新行

sql-server

我想知道是否有一个查询或某个SP来检索添加到我的数据库表中的所有新行。我正在使用SQL Server数据库。

浏览 2提问于2012-08-11得票数 1

回答已采纳

1回答

如何使用apache和kafka实现更改数据捕获(CDC)？

apache-spark、apache-kafka、cdc

我使用的是星星之火-SQL2.4.1v和java1.8。和卡夫卡版本火花-sql-卡夫卡-0-10_2.11_2.4.3和卡夫卡-客户_0.10.0.0。我需要将流式数据与存储在RDS中的元数据连接起来。但RDS元数据可以添加/更改。我理解，需要使用变更数据捕获(CDC)。如何在我<

浏览 4提问于2019-11-27得票数 0

1回答

从变更数据捕获数据生成insert、update和delete语句

sql-server、change-data-capture

我正在使用变更数据捕获来捕获来自软件应用程序的数据变更。我正在尝试从捕获的数据生成SQL语句(insert、update、delete)。有什么合适的方法来完成这件事吗？

浏览 7提问于2017-05-08得票数 0

2回答

MYSQL中二进制登录数据流的可用性:有哪些缺点和优点？

mysql、apache-kafka、apache-kafka-connect、debezium

我一直试图从MySQL中读取数据，使用Kafka连接，使用MySQL源连接器作为数据库，用debezium连接器读取bin日志。我正在努力理解如何才能更好地提取更改数据。Bin日志具有写入日志等的开销，而从数据库读取则有查询数据库的开销。与这两种方法相关联的其他主要优点和缺点是什么？有什么方法能更好地捕获变更数据呢？另外，从MySQL</

浏览 3提问于2021-01-07得票数 0

回答已采纳

2回答

谷歌网站ListItem数据到数据库事件

database、events、google-apps-script、listitem、google-sites

我有一个谷歌网站的列表页面。定期运行脚本的缺点是我无法捕获所有更改，只能捕获脚本运行时的当前状态。如果可能的话，我想要一个全面的变更审计。我还必须询问每个ListItem以检查lastUpdated日期，看看它是否

浏览 3提问于2013-06-09得票数 0

回答已采纳

2回答

从mysql到Redshift的数据复制

amazon-redshift

我想将数据从mysql加载到redshift。这里，修改后的记录需要是archive.Only，新记录反映在红移中。NAME SAL1 XYZ 10000第二次加载(我将员工“XYZ”的薪资从NAME

浏览 9提问于2017-03-21得票数 0

1回答

SQL server 2012企业

sql-server、sql-server-2012、availability-groups

CDC是否总是在可用性组上使用Server？如果使用可用性群集，是否需要在两个/多个节点上设置CDC？

浏览 0提问于2015-11-02得票数 0

1回答

用于捕获oracle变更数据的GUI

oracle、user-interface、cdc

我正在学习如何在oracle中实现变更数据捕获。然而，我不是DB专家，而是DEV，我发现这个过程对于我必须做的其他事情来说是乏味的。我之所以这样做，是因为我的DBA/DEVOP不想处理它。因此，我想知道是否有任何工具可以帮助设置oracle变更数据捕获。换句话说，一个简单的图形用户界面，它将为我编写所有代码。创建变更表、PL/SQL脚本等.... 非常感谢

浏览 2提问于2014-12-26得票数 1

1回答

如何用MySQL实现ETL？

database、mysql、synchronization、etl

我有一个遗留的MySQL数据库(A)，以及一个新的MySQL数据库审查结构(B)。第一个问题是数据库必须是活着的，并且不断地接收遗留应用程序的数据。我需要的是不断地将数据从旧的数据结构转移到新的数据结构。移动不是1:1，而是受数据转换的影响。到目前为止，我已经意识到在同一主机

浏览 0提问于2016-11-07得票数 1

3回答

变更数据捕获- Microsoft捕获数据变更的最佳实践？

sql-server、cdc

关于捕获某些表中数据更改的最佳方法，我们在开发团队中有一些争论。变更数据捕获给我留下了非常深刻的印象，我相信这是捕获这类数据的最好方式，这也是微软设计CDC的目的。对于那些不得不处理这类事情的人来说，您是否发现CDC是Microsoft在表中捕获数据更改的最佳实践方式？非常感谢。

浏览 0提问于2011-03-08得票数 3

回答已采纳

1回答

几个表的变更数据捕获

sql-server-2008、change-tracking、change-data-capture

是否可以为数据库中的几个相关表创建变更数据捕获(或变更跟踪)？例如，多对多关系。它看起来会是什么样子？

浏览 1提问于2012-01-13得票数 2

回答已采纳

1回答

可扩展的弹性搜索模块，有弹簧数据的弹性搜索吗？

spring、elasticsearch、design-patterns、spring-data-elasticsearch

我正在设计一个可伸缩的服务(Springboot)，使用它将数据索引为弹性搜索。我的应用程序使用具有相同模式的6个数据库(MySql)。每个数据库都适合特定的区域。我有一个微型服务，它连接到所有这些dbs，并以类似的方式将数据从特定表索引到弹性搜索服务器(v6.8.8)，具有6个elasticsearch索引，每个db一个索引。目前的问题：当前的设计是不可扩展的-一

浏览 2提问于2020-08-25得票数 1

1回答

使用事务日志中的数据获取Insert/Delete/Update操作

sql-server、audit

请任何人提供一个使用fn_dblog查找插入/删除/更新操作的脚本，其中包含从事务日志到Server的数据(如更改数据捕获)。我无法启用变更数据捕获，因为我使用的是Server 2012标准版。变更跟踪不适合，因为我需要前后值。

浏览 0提问于2017-08-04得票数 0

1回答

从JDBC Kafka连接源中删除事件

apache-kafka-connect

我正在使用Kafka连接器，特别是查看主题上数据的实际格式。首先: JDBC源代码是否支持检测这些更改？我找不到这样那样的文件。如果是的话，它对实际的主题采取什么形式？

浏览 1提问于2017-07-11得票数 12

回答已采纳

点击加载更多