如何记录ETL作业的当前状态？
记录ETL作业的当前状态可以通过以下几种方式来实现：
- 日志记录：通过在ETL作业中添加日志记录功能，可以将作业的运行状态、进度、错误信息等记录到日志文件中。日志可以用来跟踪作业的执行情况，并在出现问题时进行排查和调试。常见的日志记录技术包括使用日志框架（如log4j、logback）和日志分析工具（如ELK Stack）。
- 状态表：创建一个状态表来记录ETL作业的当前状态。状态表可以包含作业的名称、开始时间、结束时间、状态（如运行中、已完成、失败等）等字段。作业在不同的阶段更新状态表，以反映作业的实时状态。状态表可以存储在关系型数据库中，也可以使用内存数据库或键值存储（如Redis）。
- 监控系统：使用监控系统对ETL作业进行实时监控和记录。监控系统可以收集作业的性能指标（如运行时间、数据处理量）和错误信息，并提供图形化的界面用于展示作业的状态和趋势。常见的监控系统包括Prometheus、Grafana等。
- 通知机制：当ETL作业的状态发生变化时，可以通过通知机制将状态信息发送给相关人员。通知可以通过邮件、短信、即时通讯工具等方式进行。通知机制可以帮助运维人员及时了解作业的状态，以便及时采取行动。
- 可视化界面：通过搭建一个可视化界面，将ETL作业的当前状态以图形化的形式展示出来。界面可以包括作业运行状态、进度条、错误信息等内容，方便用户查看和监控作业的执行情况。可视化界面可以使用Web开发技术进行构建，例如使用Vue.js、React等框架进行前端开发。
针对上述方式，腾讯云提供了相关的产品和解决方案，例如：
- 日志记录：腾讯云日志服务（CLS）可以帮助用户收集、存储和分析日志数据，支持多种日志源和日志格式，提供灵活的查询和分析功能。详情请参考：腾讯云日志服务产品介绍
- 状态表：腾讯云数据库（TencentDB）提供了多种数据库产品，例如关系型数据库（如MySQL、SQL Server）、内存数据库（如TencentDB for Redis）和键值存储（如TencentDB for Tendis），可以满足不同的需求。详情请参考：腾讯云数据库产品
- 监控系统：腾讯云监控服务（Cloud Monitor）可以帮助用户监控云上资源的状态和性能，支持多种监控指标和告警机制。详情请参考：腾讯云监控服务产品介绍
- 通知机制：腾讯云消息服务（CMQ）提供了可靠的消息传递机制，支持多种消息类型和传输方式，可以用于实现作业状态的通知。详情请参考：腾讯云消息服务产品介绍
- 可视化界面：腾讯云云开发（CloudBase）提供了一站式的云端研发平台，用户可以通过云开发快速构建Web应用，并实现作业状态的可视化展示。详情请参考：腾讯云云开发产品介绍
相关·内容
简介:
我在开发一种叫做Jedox的工具。在这个工具中有一个ETL。此ETL可以运行作业(作业允许从ETL执行多个步骤，我指的是表上的一组操作(大部分时间))。有些作业可以依次启动与etl不同的步骤，但是还有另一种类型的作业可以运行脚本。我试图运行一个使用Groovy语言的作业。这种语言非常类似于Java，这两种语言有很多相似之处。
上下文:
在运行期间，ETL在控制台上显示消息日志。我也可以自己打印一些信息。Ex LOG.info("hello")将在ETL控制台中打印Hello。LOG是类ETLLogger的一个对象。这是来自Jedox库的一个特定的类。
问题:
使用此记录
浏览 2提问于2021-09-30得票数 0
我在Oracle 11g RAC环境中维护一些存储过程，这些存储过程是与其他系统进行数据交换的步骤的一部分。其中一个特别是一直在制作重复记录。文件通过ETL作业加载到一组临时表中，然后ETL作业调用这个存储过程，该存储过程没有参数(除了一个被调用的ETL代码忽略的OUT参数，但这是另一个问题)。该过程的主体以如下语句开头
For I in ( SELECT * from SOME_STAGING_TABLE where status = 'NEW' order by X_ID) LOOP
然而，调用它的ETL作业反过来又被另一个ETL作业调用，它查找所有尚未处理的“文件”，并
浏览 0提问于2012-12-19得票数 2
1回答
运行无服务器批处理作业有时间限制吗？ 我通过这个链接关注了ETL工作：https://www.serverless.com/blog/etl-job-processing-with-serverless-lambda-and-redshift 我想知道运行批处理作业是否有限制？
浏览 26提问于2021-01-07得票数 0
回答已采纳
2回答
我有一系列被工作流锁定的NetSuite事务。此后，我修改了工作流，使其在某些用户访问时不会锁定未来的记录。
但是，我在解锁已被此工作流锁定的记录时遇到了问题。我需要他们解锁(至少为我的ETL用户)，以访问他们的ETL作业，我已经在运行。当涉及到记录锁时，我发现Netsuite的文档非常稀少，而且不清楚。
关于这一点我有两个问题：
(1)能否解锁Netsuite中的记录？
(2)是否可以在Netsuite中批量解锁记录？我一直在寻找一个API调用，它将列出所有锁定的记录，并允许我使用我的新工作流更新它们，但到目前为止还没有任何运气。
浏览 2提问于2019-04-22得票数 0
我想安排运行 ETL_Job2 ，没有成功的ETL_Job1和关于成功的ETL_Job2必须启动ETL_Job3。
作业将在Server代理中创建，与相应作业关联的SSIS包来自不同的解决方案。
感谢你在这方面的任何帮助。
浏览 2提问于2018-07-17得票数 1
要求是根据源系统(SQL/Google Analytics/SAAS/CSV文件)中存在的记录数量来编排ETL容器。 举一个用例来解释：- ETL作业必须处理SQL服务器中存在的50K条记录，但是，一个服务器/节点执行该作业需要很好的处理时间，因为该服务器与SQL建立连接，获取数据并处理记录。 现在的问题是如何在Kubernetes中编排这个ETL Job，以便它根据记录/输入的数量放大/缩小容器。与上面讨论的情况一样，如果有50K个记录要并行处理，那么它应该扩大容器，处理记录，然后缩小规模。
浏览 17提问于2020-03-11得票数 0
回答已采纳
2回答
我现在有一个500 K行的数据库，将来可能会增加到300万行。该表的结构如下：
-id
-price
-sku
-version (用日期时间字符串表示)。20211012)
我有一个ETL作业，它将每晚更新价格和版本列，只使用update语句，不插入和删除。我的问题是，为了显示项目，我需要通过sku和版本进行查询。在ETL作业运行之前，一切正常。但是，当ETL作业开始批量更新行时，版本更改了，由于版本不匹配，我再也无法选择特定的sku。
我解决这个问题的想法是跟踪ETL作业执行的以前版本和当前版本(即。20211012和20211013)，为了尝试并选择当前版本，如果记录已经更新，或者
浏览 0提问于2021-10-21得票数 0
回答已采纳
3回答
我有一个用python编写的ETL作业，它由具有以下目录结构的多个脚本组成；
my_etl_job
|
|--services
| |
| |-- __init__.py
| |-- dynamoDB_service.py
|
|-- __init__.py
|-- main.py
|-- logger.py
main.py是从上面目录导入其他脚本的入口点脚本。在上传到dev终结点创建的ETL集群后，上面的代码在dev端点上运行得非常好。因为现在我想在生产中运行它，我想为它创建一个合适的胶水作业。但是，当我以my_etl_job格式压缩整个目录时，将其上传到工件s3桶中
浏览 3提问于2020-04-14得票数 9
回答已采纳
4回答
我有两种类型的表来填充数据仓库--每天都填充数据仓库，查找表或配置表，只有很少的100多个记录，这很容易，我只需截断和填充表。
但是对于有很多记录的事务表，我通常会增加，也就是说我每天运行ETL来添加昨天的记录。
我一直面临着两个问题
当工作因任何原因而失败时(我失去了当天的交易)
由于任何原因，作业运行两次或运行两次(我得到副本)
现在，我试图设计一种方法，克服这两个问题，并试图开发ETL，使其能够自动修复它，以防任何这些事件发生。
我希望它检查是否有缺货天数，并运行ETL为当天，并检查是否有重复和删除他们。
以下是我认为的方法。1.我在过去的5天里，不管如何，每天都运行ETL，删除最后的5
浏览 0提问于2013-09-01得票数 5
假设我想用Flink实现一个ETL作业，源和接收器都是Kafka主题，只有一个分区。
源和接收器中记录的顺序关系到下游(我的ETL中有更多的作业消耗接收器，作业由其他团队维护)。
有没有办法确保记录在接收器中的顺序与源相同，并使并行性超过1？
浏览 2提问于2021-10-28得票数 0
回答已采纳
3回答
有向无环图动态作业调度程序
、、、、
我需要管理ETL任务的大工作流，它的执行取决于时间、数据可用性或外部事件。有些作业在执行工作流时可能会失败，系统应该能够重新启动失败的工作流分支，而无需等待整个工作流完成执行。
在python中有任何框架可以处理这个问题吗？
我看到了几个核心职能：
达格胀
节点的执行(使用等待、日志记录等运行shell cmd )
在执行过程中重建父DAG中的子图的能力
能够在父图运行时手动执行节点或子图。
等待外部事件时挂起图形执行
列出作业队列和作业详细信息
类似于，但更通用，在python中。
浏览 12提问于2013-01-12得票数 28
回答已采纳
4回答
使用AWS执行按需ETL
、、、、
我想使用AWS架构执行按需ETL作业。
这个ETL进程将每天运行，我不想一直为一个EC2实例付费。例如，这个ETL作业可以用python编写。
我知道在EMR中，我可以按需构建集群并执行hadoop作业。
运行简单的按需ETL作业的最佳架构是什么？
浏览 2提问于2015-10-06得票数 0
这是一个交叉学科的问题--希望我贴在正确的地方。
server 2008 R2
问:如何限制赛斯霍伯历史中特定作业的行数，特别是从高频报告服务订阅插入到SQL中的作业？
历史记录:我有一个SQL服务器，其中SQL代理必须处理来自报告服务计划的ETL作业和作业的混合。最近我发现我在ETL工作上只有2到3天的历史，在那里我曾经有5-7天或更长的时间。用于职务历史记录保留的SQL代理属性为：
Maximum Job History Size (in rows): 5000
Maximum Job History rows per job: 1000
如果你认为“报告服务的工作将是问题的…”你应该是对
浏览 0提问于2014-08-06得票数 2
回答已采纳
我们在Windows SFTP Server中有像Zip、txt文件这样的文件，我们在ETL作业中使用Informatica，但是我们关心的是那些在SFTP服务器中丢弃文件的供应商--它们在随机时间丢弃文件，而且文件大小不同，那么如何检测文件传输是否完成？
浏览 9提问于2015-12-11得票数 0
我们正在使用Azure函数进行一些ETL处理，并部署了多个函数(cosmosdb触发器)和基于http的函数。由于一些ETL作业(由http触发)需要很长时间才能完成，我们正在探索基于作业的方法。看起来持久函数将是合适的。但是，它仍处于预览阶段。 有没有人知道python运行时这个特性的稳定性，以及它什么时候可以作为GA使用？
浏览 5提问于2020-07-23得票数 1
回答已采纳
我创建了一个状态机来并行运行一些Glue/ETL作业。我正在试验Map状态，以利用动态并行性。下面是阶跃函数的定义： {
"StartAt": "Map",
"States": {
"Map": {
"Type": "Map",
"InputPath": "$.data",
"ItemsPath": "$.array",
"MaxConcurrency": 2,
浏览 43提问于2020-01-26得票数 2
回答已采纳
几个月前，我使用AWS Glue接管了一个ETL项目。目前，我们正在查询DocDB中的所有记录，然后进行过滤，以防止重新处理不必要的记录。显然，这是低效的，因为查询和过滤每次作业运行的所有记录都是不可伸缩和昂贵的。
问题是，我们如何从Glue作业定制DocDB查询？在查看时，glueContext.getSourceWithFormat似乎没有传递DocDB查询的选项。
如果Glue没有提供此选项，我正在考虑让作业触发AWS Lambda来查询记录，并在S3中存储为JSON，直到Glue处理这些记录。
浏览 0提问于2021-01-12得票数 0
我已经详细阅读了几遍，现在设置了。然而，有一个非常令人困惑的图形
这似乎表明您的CDC数据可以存储在另一个数据库(数据仓库)中。然而，这并不是我认为真正“储存”的东西。
当您按照关于设置‘数据收集()单元的说明时，没有ETL功能。我对数据收集的理解是随着时间的推移监视数据库活动，而不是返回并检查对特定行集的更改。
所以我一定是漏掉了一些基本的逻辑。是否有某种神奇的CDC功能，可以批量插入或移动CDC可更改的数据(默认情况下只保留3天)，还是需要为cdc设置的每个表编写自定义SSIS/ETL作业？我可以编写SSIS作业，但是这看起来很可能不是正确的方法。如果有人能告诉我如何在另一个数据库或
浏览 3提问于2015-03-25得票数 1
假设我已经对s3存储桶中的文件进行了编目，但由于主键冲突或其他原因导致在RDS中插入记录时发生错误，我的ETL作业会停止处理吗？
我如何知道发生了错误？如果需要，我如何重新处理这些记录？我如何知道处理了哪些文件的数据？
浏览 26提问于2020-05-17得票数 0
3回答
完成ETL作业后，在AWS Glue脚本中调用存储过程的最佳方法是什么？
我使用PySpark从S3中获取数据并存储在暂存表中。在这个过程之后，需要调用一个存储过程。此存储过程将数据从暂存表加载到适当的MDS表中。
如果我必须在ETL作业完成后调用一个存储过程，那么最好的方法是什么？如果我考虑AWS，在ETL之后是否可以通知lambda。
浏览 0提问于2017-10-22得票数 4
回答已采纳
我有一个ETL进程/作业，它以预定的方式将数据库数据从源获取到目的地。
[Source data]定期使用来自某些外部源的新数据进行更新。[Destination data]是业务在下游使用的[Source data]的子集。
[Destination data]中的约束要求是它不应该有重复项(例如，如果作业失败，则在可能导入某些数据之后运行新的提取)。
作业一次导入1000条记录。
计划程序/作业有其他职责和它所使用的其他数据
我的“可行”方案之一是：
从目标获取所有投影复合/键列，
与新加载的1000条记录进行比较(仍然有很多记录)。
然后保存不在[So
浏览 4提问于2016-04-08得票数 0
回答已采纳
4回答
有一个SQL代理作业，其中包含执行某些ETL作业的复杂Integration Services包。它需要运行1到4个小时，这取决于我们的数据源。该作业目前每天运行，没有任何问题。我现在想做的是让它在一个无限的循环中运行，这意味着:当它完成后，再重新开始。
调度器似乎不提供此选项。我发现在最后一步完成后，可以使用steps接口转到第一步，但是使用这种方法有一个问题:如果我需要停止作业，我需要以一种强制的方式进行。但是，我希望能够让作业在下一次迭代后停止。我该怎么做呢？
提前感谢您的帮助！
浏览 0提问于2013-07-08得票数 3
回答已采纳
我正在尝试编写一个粘合(PySpark)作业，执行一些ETL，并最终将数据写入SQL Server中的一个表(在AWS Glue Catalog中定义)。在将记录写入SQL Server表时，可能有一些约束(例如:主键、外键、列类型)阻止某些记录(即“坏”记录)被写入到表中。发生这种情况时，Glue作业会抛出一个错误，并且作业会失败。有没有一种方法可以防止整个作业失败？相反，是否可以只写入“好”记录，并将违反SQL Server的“坏”记录返回到Glue作业(以便可以将它们上载到S3)？ 我使用write_dynamic_frame_from_catalog函数将数据写入SQL Server
浏览 9提问于2019-04-10得票数 0
1回答
春季批元数据模式序列
、、、、
这是一个快速解释用于从存储作业和步骤信息的Spring批处理表生成ID的序列的请求。
我已经在Spring +批处理应用程序的DB2中运行了以下序列：
CREATE SEQUENCE AR_REPORT_ETL_STEP_EXECUTION_SEQ AS BIGINT MAXVALUE 9223372036854775807 NO CYCLE;
CREATE SEQUENCE AR_REPORT_ETL_JOB_EXECUTION_SEQ AS BIGINT MAXVALUE 9223372036854775807 NO CYCLE;
CREATE SEQUENCE AR_REPORT_ETL
浏览 1提问于2018-06-01得票数 0
回答已采纳
1回答
我已经计划执行job.sh脚本，它包含以下命令：
date +"%D %r `echo Kitchen - job started`" >> /tmp/cron_job_1.log
sh /installations/data-integration/kitchen.sh -file /installations/etl/sync_job.kjb >> /tmp/cron_job_1.log
date +"%D %r `echo Kitchen - job completed`" >> /tmp/cron_job_1.log
浏览 4提问于2011-12-21得票数 0
回答已采纳
1回答
职务编制
、、
目前，我正在重新执行所有的数据库编制工作(ETL、备份、日常任务、报告编译等)。
为此，我需要一个任务/作业协调器，其中我可以定义任务依赖、基于时间的任务、异步任务等等。
我研究的是基于芹菜和流的编程技术，但我不确定这些技术对我的用例是否有好处。
我看的更多的是一个框架，将支持所有这些事情的盒子。有什么建议吗？
浏览 3提问于2013-02-14得票数 7
1回答
我正在使用ETL tool.The操作连接到oracle，我所做的是截断一个现有的表，并将来自另一个表的记录插入到该表中。这对于15到20个周期的作业运行来说工作得很好。在那之后，我的工作被卡在了插入record.Is的地方，在这里我做了任何错误的事情。请找到我正在使用below.Could的查询这方面的一些帮助，从以前的经验。
truncate table TABLE1;
insert into TABLE1 select * from TABLE_SRC where TYPE in('MP','DA')
and ID in(sel
浏览 0提问于2017-11-17得票数 0
1回答
在更新的硬件/软件上迁移Server数据库时，我们将ETL服务器与数据库服务器(引用此链接)分开。
我们在ETL服务器上移动SSIS包和代理作业。但是代理作业中的T步骤也需要数据库出现在同一台服务器上。
如何从这里开始，在ETL服务器上创建数据库，还是只在ETL服务器上移动SSIS包，并将代理作业保留在数据库服务器上？
浏览 0提问于2020-03-03得票数 0
我正在使用AWS glue ETL作业，它将从glue目录读取数据并将其写入数据库。我想限制将记录写入数据库的速率。
浏览 16提问于2020-05-14得票数 1
回答已采纳
1回答
我目前有一个etl作业，读取超过一百万条记录的源表，然后按顺序处理到目标表。源和目标都在相同的模式中，但是在这两者之间有一个外部rest端点调用来发布来自源表的一些数据，这个作业现在执行得非常糟糕，有人可以告诉我在如何并行化这个或减少fetchsize等方面有什么方法来提高性能来减少这个作业的运行时间吗？
浏览 22提问于2020-01-10得票数 0
我目前正在用AWS为我的ML模型开发一些ETL。事情是，我想触发，一个Lambda，当一些萨吉特处理作业完成。传递给Lambda的事件应该是配置信息(作业名称、参数等)。的处理作业。
Q1：如何在完成处理作业时触发事件？
Q2：如何将处理作业配置作为Lambda的事件传递？
浏览 2提问于2022-02-03得票数 3
回答已采纳
我们在SQL Server中遇到了一个奇怪的问题。在ETL期间，我们的一个表是空的。我们确信该表已加载，但问题是该表在加载后被清空。每天，我们加载几个表(通过ETL)。但是在我们的过程中，有一个截断表声明，我们不知道在哪里。我希望至少确定这个截断表查询的运行时间。然后将其与代理作业历史记录进行比较。才能知道是哪个作业在运行它。
提前谢谢你。
浏览 2提问于2014-12-22得票数 0
我正在尝试通过ruby运行informatica工作流。使用Net-ssh gem。当我运行我的测试时，它通过了，但当我检查它们没有创建的日志时，我的作业不会被触发。
下面是我的代码。
Given(/^Run ESP jobs$/) do
require 'net/ssh'
Net::SSH.start('host', 'user', :password => "my_password" ) do
# I am trying to connect to remote server.
ssh.exec(
浏览 17提问于2019-07-30得票数 0
场景:在多租户架构中，我为多个客户端(租户模式)运行相同的批处理作业(ETL)。在这种情况下，唯一的变量是source和target。在ADF中，我的管道/映射数据流是静态的，动态的东西是LinkedServices。即使是数据集也可以是静态的，因为我希望客户端的源和目标中有相同的表。 如何使LinkedServices动态化？ 这就是我通过脚本(shell、python)实现它的方式。-将使用client_code作为参数启动包装脚本-客户端的DB详细信息和连接详细信息将在数据库中可用，从那里获取-将使用相应客户端的源n目标数据库详细信息启动ETL作业(脚本)-在所有步骤中执行日志记录/审
浏览 12提问于2020-04-02得票数 1
回答已采纳
我正在尝试导入在Postgres中运行到表中的作业的所有日志。我正在使用组件tLogCatcher和tStatCatcher，并将它们连接起来创建一个包含所有可用数据的表。
这份工作看起来如下：
在tMap中，我在pid和作业名称上加入了来自logcatcher和statcatcher的两个源，并尝试将结果合并到一个表中：
但是，每当作业失败时，我都会在日志捕捉器输出中获得空值，即使有错误消息：
[statistics] connecting to socket on port 3696
[statistics] connected
2017-02-03 13:51:07|
浏览 9提问于2017-02-03得票数 0
回答已采纳
我希望在另一台服务器上的作业成功完成后立即发送邮件或在我的服务器上自动启动作业。我可以访问另一台服务器，可以查看作业状态，但不能更改作业本身，该作业正在运行SSIS包。
基本上，只要源代码停止刷新，我就想开始刷新我的数据库(通过作业运行ETL )。我希望除了这个windows服务实现之外还有其他建议。
浏览 0提问于2012-04-26得票数 2
1回答
我确信这个问题已经在其他地方得到了回答，但我不确定如何提问，所以我不确定如何搜索答案。我提前道歉。
我们正在使用权责发生制会计方法。我不懂会计。我被告知，对于当前期间，减去前一个期间，添加新的期间，留下公司当前状态的视图。
我继承了一个“数据仓库”(我使用的术语松散)，它每周(期间)都会对运营数据进行快照。快照表具有根据ETL作业运行的日期设置的年、月和期间号。事实表的关键字是作业运行的日期，而不一定与记录中的事实相关联。一切都很顺利，管理层也很高兴。
我担心的是，如果系统中断并且作业未按计划运行，会发生什么情况？由于操作数据不断变化，如果ETL作业不是每周运行相同的日期和时间，则该周的快照将
浏览 0提问于2016-11-03得票数 1
这是我们想出来的。通过使用3值状态列。
0 = Not indexed
1 = Updated
2 = Indexed
会有两个工作..。
作业1将选择status =0的顶级X记录，并将其弹出到类似于RabitMQ的队列中。然后，使用者将批量插入这些记录到ES，并将DB记录的状态更新为1。
因为我们控制了我们的数据..。更新特定记录的SQL存储的proc将将其状态设置为2。Job2将选择状态=2的顶部x记录，并在RabitMQ上弹出它们。然后，使用者将批量插入这些记录到ES，并将DB记录的状态更新为1。
当然，对于“排队”，我们可能需要一个中间状态，所以没有一个作业再次获得相同的记录，但是如
浏览 4提问于2014-07-04得票数 1
我有一个AWS S3文件夹，其中存储了大量的JSON文件。我需要ETL这些文件与AWS EMR通过星火和存储转换为AWS RDS。
为此，我在Scala上实现了Spark作业，一切都很好。我计划每周执行一次这项工作。
外部逻辑有时可以向AWS S3文件夹中添加一个新文件，因此下次当我的火花作业开始时，我只想处理新的(未处理的) JSON文件。
现在，我不知道在哪里存储有关已处理的JSON文件的信息，以便Spark作业可以决定要处理哪些文件/文件夹。请您告诉我，使用Spark/AWS跟踪这种变化的最佳实践是什么(以及如何)？
浏览 0提问于2018-10-15得票数 1
回答已采纳
1回答
我有一个PySpark作业，它是使用SparkSubmitOperator通过气流提交给Yarn的。在python文件test.py中，我有以下日志：
import logging
logger = logging.getLogger("myapp")
logger.info("this is to log")
操作系统如下所示：
spark_etl= SparkSubmitOperator(
task_id = "etl_job",
name = "transform files",
applica
浏览 3提问于2021-08-06得票数 1
我需要使用Spring作为ETL将数据从源数据库(MySQL)中的一组表迁移到目标数据库(MySQL)中的另一组表。目标表中的模式不同于源表中的模式，因此我使用处理器来转换数据以匹配目标模式。
我需要一个块一个块地执行这个迁移块，即像一次按需记录集(，而不是所有的)。
我没什么好担心的。
1)审计(确保迁移了所有数据)
2)回滚和重试(在发生错误时)
3)错误处理
4)如何在迁移过程中更新源表的新数据(无停机时间)
下面是我同样的想法。
我将为每个作业生成一个惟一的随机ID (可能是每个作业的UUID )，然后在迁移时将其放入目标表(每一行中的列)。
1)审核:一旦迁移完成，我的想法是记录正在
浏览 1提问于2019-03-18得票数 1
我想使用HDP2.2发行版，但计划只对我的ETL作业使用Pig+MR。希望使用HCatalog记录架构，但希望避免设置配置单元。我需要它才能拥有HCatalog吗？
浏览 5提问于2015-01-31得票数 0
1回答
批处理-更新和插入，然后删除
、、、、
有一个计划创建一个新的ETL作业来完成特定的任务。它将从database1检索数据，并从该数据中更新database2中的等效记录。database1和database2都是Oracle12c。现在的问题是，database2中大约有100万零1条记录，根据统计数据，每次运行ETL时，database2中大约45%的记录可能会被更新。
现在我们在想，每次运行ETL时，更新大约67.5万条记录需要多长时间。我们希望在特定的时间窗口执行它，而不是继续运行超过这个时间的窗口。插入然后删除会更有效吗？而不是全部更新？我们也希望将来的实现成为证据--尽管database2有数据库清除(删除超过3年的时间
浏览 0提问于2020-02-27得票数 1
设想一个名为orders的表，其中包含一个重复的嵌套字段，名为items。此字段是一个结构数组，其中结构包含单个字段unit_price。是否有一种方法可以将此字段从字符串转换为浮动，而不像我当前所做的那样取消嵌套/聚合？
在本例中，我正在转换通过ETL作业创建的表。ETL作业并不总是使数据类型正确，因此有时我需要在重复记录中转换字段。
以下是我目前的做法：
SELECT
ARRAY
(
SELECT AS STRUCT
CAST(unit_price AS FLOAT64) AS unit_price
FROM UNNEST(items)
) AS ite
浏览 0提问于2018-11-05得票数 0
回答已采纳
我正在使用spark作业将数据从SQL server DB表加载到MonetDB表。我的源表有100000条记录。我直接将这些记录移动到monetdb表中，根本没有过滤器和连接。但是一旦作业完成，我在Target monetdb表中看到了279997条记录。已观察到，目标表中的记录正在重复。
我们已经创建了简单的etl来将一个表移动到另一个表，不确定出了什么问题。有没有人能帮帮我们。
致敬，NarsimhaReddy
浏览 9提问于2021-03-31得票数 0
我计划使用AWS Glue将数据从源数据库发送/转换到目标数据库。
我想知道Glue是否可以这样做：
将一行数据添加到我的源。
Glue ETL作业运行并提取并将上面提到的行从我的源转换到我的目标。
从源中删除步骤1中添加的数据行。
Glue ETL作业运行并删除从源中删除的目标数据。
这里提到的第四点可能吗？如果有可能，如何在Glue ETL作业中实现它？
浏览 3提问于2022-06-08得票数 0
1回答
正确访问Glue中的数据表
、、、、
我在雅典娜中创建了一个没有S3源代码爬虫的表。它会出现在我的数据记录中。但是，当我试图通过Glue ETL中的python作业访问它时，它会显示它没有列或任何数据。访问列时会弹出以下错误：AttributeError: 'DataFrame' object has no attribute '<COLUMN-NAME>'。
我试图按照胶水的方式访问动态框架：
datasource = glueContext.create_dynamic_frame.from_catalog(
database="datacatalog_database&
浏览 19提问于2022-03-06得票数 0
回答已采纳
1回答
我想排序一些记录，存储在里亚克，根据每个记录的分数和“年龄”的函数(当前的时间创建日期)。到目前为止，在riak中执行“时间敏感”查询的最佳方法是什么？，我知道的选项如下：
实时mapreduce -在查询时在mapreduce作业中完成整个计算
ETL作业--定期在后台作业中执行查询，并将结果存储回riak中。
将其放入应用程序层--不要使用riak进行排序，而是使用应用程序级别的层对记录进行排序和缓存。
mapreduce似乎是纸面上最好的，然而，我读过关于riak Mapreduce的真实世界延迟的混合报道。
浏览 0提问于2013-07-03得票数 1
我有一个SSIS作业，其中包含执行ETL工作的4个包。
在第一个包中，我们使用"select newid()“函数为该ETL进程创建一个唯一的ID
想知道如何将该变量值传递给所有ETL包，以便所有4个包都可以使用相同的ID。
执行包任务不在图中，因为我们希望作业有4个步骤(由4个包执行)
有人能给我指个方向吗？
谢谢
浏览 2提问于2014-04-10得票数 1
回答已采纳
1回答
在尝试通过SSIS ETL作业插入表中不存在的记录时，我遇到"Cannot insert duplicate key row in object“错误。但是，当我放置一个“where”子句来指定作业所抱怨的确切记录时，不会出现此错误。
例如，我将得到主键(100,200,300)的错误。我已经确认这个组合在源表中不存在，所以我知道在那个级别上不存在这个错误。但是，当我放置一个where子句来筛选源表，使其第一个主键字段值仅为'100‘的记录时，作业运行时没有错误。这可能是缓冲区问题还是环境问题？
浏览 0提问于2019-11-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
