Teradata中的变更数据捕获
（Change Data Capture，简称CDC）是一种用于捕获数据库中数据变更的技术。它可以实时监测数据库中的数据变动，并将变更的数据记录下来，以便后续的数据分析、数据同步或数据集成等操作。
CDC的主要分类有两种：基于日志的CDC和基于触发器的CDC。
基于日志的CDC通过解析数据库的事务日志来捕获数据变更。它可以实时监测数据库中的事务操作，并将变更的数据写入到特定的日志文件中。这种方式不会对数据库的性能产生太大影响，但需要数据库支持事务日志的功能。
基于触发器的CDC则是通过在数据库表上创建触发器来捕获数据变更。当表中的数据发生变化时，触发器会被触发，并将变更的数据记录下来。这种方式对数据库的性能影响较大，但可以在不支持事务日志的数据库上实现CDC功能。
变更数据捕获在很多场景下都有广泛的应用。例如，在数据仓库中，CDC可以用于捕获源数据库中的数据变更，并将变更的数据同步到数据仓库中，以保持数据的实时性。在数据集成和ETL过程中，CDC可以用于捕获源数据库中的数据变更，并将变更的数据传输到目标系统中，以实现数据的实时同步。此外，CDC还可以用于数据审计、数据备份与恢复等场景。
腾讯云提供了一款与CDC相关的产品，即数据传输服务 DTS。DTS是一种可靠、易用且高效的数据传输服务，支持基于日志的CDC技术。通过DTS，用户可以实时捕获源数据库中的数据变更，并将变更的数据传输到目标数据库中，实现数据的实时同步和迁移。更多关于腾讯云数据传输服务的信息，您可以访问以下链接：https://cloud.tencent.com/product/dts
相关·内容
如何将数据从Cassandra实时加载到Teradata？或者，我们可以使用(像一些工具)来实现这一点的可能性是什么？
浏览 0提问于2017-11-08得票数 2
3回答
我的团队正在考虑开发一个从数据库读取数据的实时应用程序(一堆图表、仪表等)。在后端，我们有一个高容量的Teradata数据库。我们希望其他一些应用程序不断地将数据输入到这个数据库中。现在，我们想知道如何将更改从数据库提供给应用程序。在我们的例子中，从应用程序轮询不是一个可行的选择。
在Teradata中有什么工具可以帮助我们实现这一点吗？
如有任何建议，我们将不胜感激。
浏览 2提问于2010-05-01得票数 0
1回答
我们需要一种方法来了解自上次从TeraData数据库导入数据以来，该数据库中哪些行发生了更改。关于TeraData数据库中的表或表中的数据，没有任何东西可以证明是可靠的更改信号，我们可以使用它来确定这一点。在SQL Server中，尽管源系统是TeraData，但功能似乎完全符合我们的需要。有没有人知道，在TeraData数据库中，TeraData或使用TeraData的第三方工具中是否有一个功能可以有效地添加SQL Server更改跟踪提供的功能？
浏览 2提问于2013-03-15得票数 0
我需要一个甲骨文数据库上的REGEXP_REPLACE帮助。我想把从下面的字符串到短语Teradata Database的所有内容都剪掉，剩下的就不用了，如果Teradata数据库不在字符串中，那么就让它保持不变。
我试着用这种方法解决这个问题，但不幸的是它不起作用。
select TRIM(REGEXP_REPLACE('2021.07.29 13:45:36 ERR GEOSPATIAL_LOCATOR_CBS.sql /mup/projects/IDM IDM IdmLoadDetailLayer.sql 226 3706 42000 [Teradata Data
浏览 2提问于2021-07-29得票数 0
我想知道是否有一个查询或某个SP来检索添加到我的数据库表中的所有新行。我正在使用SQL Server数据库。
浏览 2提问于2012-08-11得票数 1
回答已采纳
我需要从错误日志中提取单词和单词序列。
以下是日志示例：
2019.06.08 14:32:36 ERR 10298587 2019-06-07 PROJECT_NAME script.sql 4483 2646 HY000 [NCR] [Teradata DBMS] : No more spool space in aload50.
2019.06.08 14:32:36 ERR 10298587 2019-06-07 PROJECT_NAME script.sql 4483 2646 HY000 [NCR] [Teradata DBMS] : N
浏览 0提问于2019-06-12得票数 0
回答已采纳
1回答
我正在开发一个集中记录所有数据操作操作的系统。当前应用了SQL Server CHange跟踪，但它跟踪的数据存在问题。例如，如果我在TableX中插入一行，更新同一行，然后删除它，似乎只记录了删除操作。有人知道如何查看之前的操作吗？
<code>A0</code>
浏览 19提问于2021-06-14得票数 0
回答已采纳
1回答
我读到，启用变更数据捕获显然会对数据库性能产生影响。这种性能损失是只影响启用了CDC的表，还是会影响整个数据库的所有操作
在我的情况下，我使用SSIS，并且有大量数据移入和移出临时数据库。我在系统中也有一些用于转换的查找表。我希望使用CDC作为一种手段，只审核对这些引用表的更改(而不是导入的数据)。我作为ETL的一部分运行的主要查询访问这些引用表，但不更改它们，所以我正在尝试确定是否仍会有明显的性能影响？
谢谢
浏览 3提问于2010-12-06得票数 12
回答已采纳
1回答
我正在做一个WPF项目，我需要它来跟踪SQL Server2008 R2中的数据。
我有一个满是SQL语句的表，其中一些是视图的“Select”，另一些是表的“Select”，但主要是视图。
WPF网格(在我的情况下是它的SQL )需要显示来自我的DevEx语句的-constantly变化的实时数据。
这意味着我不能使用任何类型化数据集、实体框架或LINQ。
AFAIK，我需要某种管道，我可以一个接一个地拉出更改，并更新数据集合中非常相关的项。
到目前为止，我只能找到一些类似SQL Profiler的代码片段来跟踪针对服务器和一种名为StreamInsight的新技术的查询。
我尝试了SQL依
浏览 1提问于2011-03-01得票数 0
2回答
我希望捕获应用于Teradata表的插入、更新、删除活动；类似于它在SQL Server中的工作方式。 我浏览了Teradata文档，它似乎没有内置对此功能的支持。 有人能帮帮我吗？
浏览 27提问于2020-08-14得票数 0
我想对数据库db1的表应用变更数据捕获(CDC)，并希望将所有内容记录在DB2中。
那么，有可能捕获表db1对DB2的更改吗？
浏览 0提问于2013-12-02得票数 0
我有一个从数据库中读取值并返回一些对象的组件。用户有权更改数据库中的值。我必须重新创建的对象，一旦一些变化反映在数据库中。因为对象依赖于数据库。我甚至不知道这是不是可能的，所以我只是想确定有没有办法。欢迎任何建议。谢谢
浏览 16提问于2020-06-04得票数 0
1回答
我试图找出使用SSIS进行增量出口的最佳方法。我在数据库中有一组表，这些表应该在每天间隔内导出到一组文件中。我只能输出新的和修改过的记录。每个表中都有一个名为LastEdit的字段，该字段保存记录上次编辑(或创建)的日期。
因此，我最初的想法是创建一个新表，其内容类似于"id“、"Jobname”、"LastRun"。现在，每当我使用SSIS作业导出表时，我将在该表中写入运行日期和作业名称。然后，下次我必须导出数据时，我将在这个表中查找最后的运行日期，并且只找到比此更新的导出记录。
我对SSIS相当陌生，所以我认为这是最好的方法，还是有一些内置的功能来实现这个功
浏览 2提问于2015-07-13得票数 0
1回答
我需要审计数据库中所有表中的数据。我使用SQL Server 2016。我为所有表启用了变更数据捕获。
如何按时间顺序获取所有表的更改？
浏览 0提问于2017-06-01得票数 1
2回答
我加载了表，但是源计数和目标计数不匹配。源数据在Oracle中，目标数据在Teradata中。如何在Target中查找丢失的数据
浏览 1提问于2014-10-23得票数 0
我们正在为我们的项目构建一个新的数据管道，我们必须将SQL服务器上每天发生的增量更新转移到Azure synapse中进行一些数字处理。我们必须将跨60+表发生的更新(每天1-200万次更新)放入synapse中，以便在一天中发生的时候压缩一些聚合和统计数据。
其中一个要求是接近实时，并且批量导入synapse并不理想，因为它需要10分钟以上的时间对所有数据进行完整计算。
我一直在阅读关于CDC feed到synapse 的文章，这是一种可能的解决方案。想知道是否有其他替代方案或建议，以实现数据库更新的数据处理近乎实时的最终目标。
浏览 23提问于2021-10-29得票数 0
Teradata中有如下所示的表：
col1
-------
123 ABC Berlin
44567 ABC Rome
11 ABC New York
基于"col1“，我需要删除"col1”栏中的一个空格和"ABC“，只保留城市的编号、空间和名称，因此我需要如下所示：
col1 col2
--------------------------------
123 ABC Berlin | 123 Berlin
44567 ABC Rome | 44567 Rome
11 ABC New York | 11 New York
我如
浏览 7提问于2021-12-10得票数 -1
1回答
我们有一个非常大的数据库，一个表(日志)包含了大部分数据(大约130亿行)，总的数据库大小大约为6.5 the，在服务器满之前我还有900 We的空间。
我们有一个删除旧数据的脚本，但是它不影响大小，因为索引是支离破碎的，所以最好恢复它，但是我知道如果我重建一个大索引，它将带来一个巨大的停机时间。
系统总是开着的，我们确实有像周日晚上那样的安静时段，但是任何停机时间都需要最多2小时。
我计划将1TB的.bak文件复制到新服务器，恢复，重建索引，然后我需要查看更改之间的差异，并使用这些差异(新的或更新的记录)更新新服务器。
我的问题是:如果我“链接”服务器，是否有一个内置于sql服务器中的免费工
浏览 0提问于2020-10-09得票数 0
回答已采纳
我需要实时地将数据从Informix推送到我的.NET服务器，就像我们可以在使用SignalR和MS SQL Server的数据库发生变化时自动执行一样。这可以做到吗？Informix似乎没有内置的功能，只要数据库中有新记录，.NET服务器就会知道。即使在用谷歌搜索了几个小时之后，我也没有找到解决这个问题的办法。
浏览 0提问于2017-02-16得票数 1
1回答
我有一个保存配置/维度表的MySQL RDS数据库。我也有交易数据流入Snowflake。我希望在Snowflake中同步MySQL表，以便它们在Snowflake中可用，因为我将编写一个计算作业，该作业将在Snowflake中连接配置/维度表和事务数据。以特定频率将表从MySQL同步到Snowflake的最佳方式是什么？
浏览 4提问于2021-04-23得票数 0
1回答
我需要从亚马逊网络服务中的某些PostgreSQL表中获取数据(有多少条记录等待处理)以进行报告。qry的结果被发布到日志中，并被FluentD恶魔拾取并推送到elasticsearch/Kibana。要做到这一点，最直接的方法是编写一个小的spring启动应用程序，它每30秒左右对数据库执行一次ping操作。我觉得这是低效和昂贵的。有没有更好的方法呢？ 感谢你的帮助。
浏览 23提问于2019-02-19得票数 1
1回答
源表更新时需要更新目标表
、、、
我有一个报告，它使用了一些包含大量数据的tables。我们编写了一个存储过程来从tables获取所需的数据，并处理报告输出table。由于数据量很大，我们不希望在任何更新发生时调用该过程来调用整个源tables数据。我们只需要将源表中的'updated/changed rows更新到目标table中。
在Sql Server中执行此操作的最佳方法是什么
谢谢你的帮助。
浏览 0提问于2015-09-17得票数 0
我在一个web应用程序中工作，在事件采购中实现后端。事件源给了我们强大的能力，让我们能够回到过去，运行预测来获得不同类型的报告。此外，如果需要，我们还可以通过重放投影来从头开始构建数据库。 我们有一些模块，通过在其中实现事件源，并没有提供太多的分析价值。例如，创建调查问卷，这只是一个简单的表单CRUD。我们在其中有事件源，但我们可能从中获得的唯一优势是从存储的域事件重建表单数据库。或者获取用户花了多少时间进行问卷调查等值。 但这些分析仍然不能给我们提供太多信息，因为表单中的状态变化并不像系统的其他部分那样有价值。例如，与表单CRUD的更改状态相比，通过域事件更改银行帐户的状态可以为我们提供更
浏览 21提问于2021-10-04得票数 0
0回答
实际上，我的数据在Teradata表中。我已经使用sqoop-import命令将teradata表数据sqooped到Hive中。
但是，我的teradata表每天都会获得数据。因此，需要将新添加的数据，即增量数据从teradata中sqoop到Hive表中。
有没有人能建议我一些解决方案来实现这一点…
浏览 3提问于2017-06-01得票数 0
回答已采纳
我正在尝试将数据从informix数据库获取到Sql Server数据库。需要实时或最多5分钟同步数据。它大约是20个表和4到5个20，少数表的数据经常变化。有哪些选择？
浏览 2提问于2012-01-05得票数 2
回答已采纳
我正在使用PyTd teradata模块查询来自Teradata的数据，并希望将其读取到熊猫DataFrame中
import teradata
import pandas as pd
# teradata connection
udaExec = teradata.UdaExec(appName="Example", version="1.0",
logConsole=False)
session = udaExec.connect(method="odbc", system="&
浏览 2提问于2016-06-16得票数 0
2回答
我有一个带有复杂列分隔符的传入记录，需要对记录进行标记。其中一个分隔符字符可以是数据的一部分。
我在找正则表达式。需要在Teradata16.1上使用函数"REGEXP_SUBSTR“。
最多可以有5列来标记。计划在Teradata中使用case语句来标记列。我想一个令牌的正则表达式会起作用的。
Case#1: Column delimiter is ' - '
Sample data: On-e - tw o - thr$ee
Required output : [On-e, tw o, thr$ee]
我的尝试：([\S]*)\s{1}\-{1}\s{1}
Cas
浏览 8提问于2022-03-28得票数 0
回答已采纳
我有一个函数可以转换字符串：
select * from run_on_hive(server('hdp230m2.labs.teradata.com'),username('vijay'),password('vijay'),dbname('default'),query('analyze table default.test01 compute statistics'));
至：
select * from run_on_hive(server('hdp230m2.labs.teradata.com
浏览 1提问于2018-05-15得票数 1
回答已采纳
我已经在Express中创建了自定义脚本，它实际上将Server数据库迁移到MongoDB。
但我在这两个数据库之间的实时同步方面遇到了问题。
目前，我已经在两个数据库中添加了一个列updated_by。
然后从updated_by和Server数据库中获取最新的MongoDb行。
然后，我检查日期差异，并根据它更新我的MongoDB数据库。
有很多数据库表，我发现很难识别，哪些表正在更新。
Server 2008 R2中是否有任何日志可以声明更新哪个表以及何时更新？
我需要一种机制，例如，db表中的任何数据更新都应该立即将该行同步到我的MongoDB中。
任何关于实时数据同步的建议也是受欢迎
浏览 3提问于2015-03-18得票数 4
我有一个维度字段，它保存以下格式的数据。我正在使用teradata查询这个字段。
105.0x6x710 10 x 10 x6.0 x6.00 x0 X 0
我想知道该如何解析这个字段，以便只获取3列中的数字。
浏览 1提问于2020-06-18得票数 0
我想要获取使用了teradata中任何DML脚本中的特定表或所有表的用户数。
浏览 8提问于2013-06-13得票数 0
回答已采纳
我有数据(游戏)，并且在HTML上重复这个数据。
<div ng-controller="parent">
<div ng-repeat="game in Games track by $index">...</div>
...
</div>
在另一个子控制器(ng-控制器=“子”)上，用户可以从另一个数据'favGames‘中收集他最喜欢的游戏，并创建自己的游戏列表。
如何检查，如果用户选择一些游戏，然后切换到favGames游戏，并显示favGames数据的ng-控制器=“父”。
提前谢谢
浏览 1提问于2017-06-14得票数 0
回答已采纳
我的Teradata查询创建了一个用于连接到现有视图的易失性。在将查询链接到excel时，弹出以下错误：" Teradata : Teradata数据库在DDL语句后只有ET或null语句是合法的“。对于在teradata中没有写权限来创建真正的视图或表的人，有没有解决方法？我希望避免在SQL中链接到Teradata并运行打开的查询来获取所需的数据。
这适用于Excel 2016 64位和使用Teradata版本15.10.1.12
浏览 30提问于2019-05-22得票数 0
在繁重的Oracle数据库和mongodb之间进行实时同步是可能的吗？有没有人试过这个？
我看到一个网站-
这里他们提到在oracle表上有触发器，我怀疑这会减慢已经在Oracle数据库上运行的应用程序的速度。此复制是否会导致应用程序速度减慢或降低oracle数据库的性能？
浏览 16提问于2018-08-28得票数 0
1回答
我运行以下命令来处理数据库/及其分区。
Invoke-ASCmd –InputFile $file -Server $Server >$output
在输出中，如果出现错误，则显示如下内容：
<return xmlns="urn:schemas-microsoft-com:xml-analysis"><root xmlns="urn:schemas-microsoft-com:xml-analysis:empty"><Excep
tion xmlns="urn:schemas-microsoft-com:xml-ana
浏览 0提问于2019-03-11得票数 0
回答已采纳
我想要获得所有的数据，插入或更新的最后一个小时，甚至前一天从所有表在一个特定的数据库。
浏览 1提问于2018-02-18得票数 0
2回答
当我尝试使用SQOOP Export将列值'2015-05-04 23:39:22.003168‘导出到Teradata Table时。导出成功，但数据加载为'2015-05-04 23:39:22.000000‘毫秒转换为零
Teradata中列的数据类型是Timestamp(6)。使用的Teradata连接器是: teradata- connector -1.4.0.jar
这里，我如何将毫秒原样发送到Teradata。
致敬，D V N
浏览 0提问于2015-10-17得票数 3
编辑：需要确定哪一个更适合从Teradata、TPT或fexp导出巨大的数据量。
OP:，我已经知道teradata的快速导出和TPT不能用于直接将数据导出到。我可以将数据带到本地环境，并将其并行地移动到hadoop。
我想知道哪个工具以最有效的方式从Teradata中提取数据。
我必须提取具有巨大数据量的数据集(大约250亿条记录~ 15 TB大小)。当然，Teradata中的数据是很好的分区，我将根据分区和唯一的PI来拆分我的提取策略。
我找不到足够的内容，这将提供Teradata实用程序和Sqoop之间的直接比较。
哪个工具对Teradata环境中当前正在运行的作业的影响最小，并以最优化
浏览 3提问于2018-02-12得票数 0
我们试图从Teradata加载数据，代码使用的是：
sparkSession.read
.format("jdbc")
.options(
Map(
"url" -> "jdbc:teradata://hostname, user=$username, password=$password",
"MAYBENULL" -> "ON",
"SIP_SUPPORT" -> "ON
浏览 3提问于2022-04-10得票数 0
2回答
到目前为止，我可以使用Teradata jdbc连接器for Spark从Teradata读取数据帧。阅读的语法如下：
val df = hc.read.format("jdbc").options(
Map(
"url" -> url,
"dbtable" -> (sel * from tableA) as data,
"driver" -> "com.teradata.jdbc.TeraDriver"
)
).load()
其中hc = hiveContex
浏览 1提问于2016-11-15得票数 2
1回答
从多个数据源导入SSIS
、、、
我有一个小小的挑战。我必须合并来自三个不同数据库(Oracle、SQL Server和Teradata)的一些数据。
如何从TeraData和SQL Server中检索基于Oracle的检索数据？
例如，Oracle有销售信息，TeraData有客户信息，SQL Server有员工信息。
我从Oracle提取销售列表，它有一个客户I列表，并希望根据这些客户I限制TeraData拉取。
然后，客户端具有与SQL Server绑定的员工标识符。
我可以单独连接到每一个，但我想限制每一个的拉动。
Oracle返回大约3,000行，而TeraData本身返回400,000行。Oracle到TeraDa
浏览 4提问于2013-05-09得票数 3
我是卡夫卡的新手。我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。谁正在做这个工作，请建议我如何集成MSSQL和kafka？
浏览 27提问于2016-09-26得票数 1
我正在阅读有关数据仓库的文章，并逐渐了解了Teradata。但是我在teradata网站上没有找到任何下载teradata数据库的链接。我可以在我的windows或linux机器上安装teradata数据库吗？或者类似于从Teradata购买的软件和硬件的组合
浏览 3提问于2015-09-02得票数 1
我想使用TeradataExportTool将数据从配置单元加载到Teradata中。
-sourcetable -targettable
我想在hive表中添加where条件，以便只过滤那些要加载到teradata中的记录。如何添加where条件以选择要加载到teradata中的配置单元数据。请帮帮忙。
浏览 1提问于2015-01-21得票数 0
1回答
如果这里问错了这个问题，我很抱歉。
我的任务是实现一个系统，允许管理员对数据库中的数据进行更改，并将这些更改保存到“状态”或“计划”中。状态需要是可比较的，选择最后的状态成为“主状态”，并用于所有未来的查询。
通常情况下，对于这种情况，我会复制数据库并在那里进行更改，但是我所受委托的数据库非常大，不可能很快复制。我正在使用MS，并在.NET中与实体框架进行接口。
这些工具中的任何一个为这个问题提供了包容性的解决方案吗？如何才能现实地做到这一点？一位同事提出了版本控制的建议，这听起来很有希望，但我想知道是否有更好的方法。
浏览 0提问于2015-09-11得票数 2
回答已采纳
我们使用Hibernate将数据从JAVA应用程序插入到Teradata数据库。现在，表中有一个date列，所以我们只传递其中的新数据()并尝试保存它。但它给了我们以下错误：
Caused by: com.teradata.jdbc.jdbc_4.util.JDBCException: [Teradata Database] [TeraJDBC 14.00.00.13] [Error 5404] [SQLState HY000] Datetime field overflow.
at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeData
浏览 4提问于2012-05-15得票数 0
我正在使用Server导入和导出向导将数据从Teradata提取到Server表中：
在SSMS中，右键单击目标数据库并选择“导入数据”。
在“选择数据源”中，我选择了“数据提供程序”
我将命令超时和连接超时更改为一个较高的数字，例如3000 (我也尝试过0和-1)。
我设置了Server数据源
我指定要选择数据的查询(在蟾蜍中运行查询需要15 min+ )
我设置了在Server中创建目标表的选项
我执行包裹。
程序包在大约40秒后的预执行中失败(错误在下面)。
我可以在Visual中的SSIS包中运行此查询，或者如果我将它添加到作业中，则可以很好地运
浏览 5提问于2016-03-14得票数 0
可以在teradata中复制状态消息吗？(我不想每次都键入它们，例如，当我试图在google上搜索错误消息时)
浏览 1提问于2012-08-13得票数 0
回答已采纳
我正在对来自Teradata数据库的数据执行增量加载，并将其存储为一个拼花文件。因为Teradata中的表包含数十亿行，所以我希望我的PySpark脚本能够比较哈希值。
Teradata：
当前存储的Parquet文件：
我的PySpark脚本使用JDBC连接来调用teradata：
tdDF = return spark.read \
.format("jdbc") \
.option("driver", "com.teradata.jdbc.TeraDriver") \
.option("url", "jd
浏览 0提问于2019-01-16得票数 5
1回答
我正在尝试使用TDCH连接器将数据从Hive表加载到Teradata表。但是，我希望通过视图将数据加载到targt表中(在teradata中)，而不是直接访问该表。
那么，有办法通过视图将数据加载到目标表吗？"tdch.output.teradata.data.dictionary.use.xview“有一个选项，但是将该选项设置为true也无助于我。
下面的是我使用的示例TDCH作业：
hadoop $TDCH_JAR
com.teradata.connector.common.tool.ConnectorExportTool
-Dmapred.job.queue.name=
-li
浏览 0提问于2015-08-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
