如何从代码生成ETL？

文章/答案/技术大牛

发布

0回答

ravendb、etl

我想在我的部署过程中运行ETL转换-从当前数据库转换为转换后的数据库，然后将转换后的数据库转换为当前数据库。当我必须更改我的文档结构时。有没有什么api可以从代码中做到这一点？谢谢

浏览 4提问于2017-06-12得票数 1

回答已采纳

3回答

ETL工艺设计与性能

c#、sql、database、etl

存储过程代码很难看，因为它涉及动态SQL。它需要构建SQL字符串，因为我们有动态数据库名。优点：更容易开发ETL过程，因为我们从生成的类中获得intellisense因为生成

浏览 1提问于2010-12-02得票数 6

回答已采纳

2回答

以声明方式开发和运行转换(如ETL)存在哪些库/工具？

xslt、transformation、etl

我已经围绕ETL做了大量的开发工作，并且我得出结论，ETL的最佳方法是声明式的(支持定制的命令式块/函数)。特别是，声明性方法允许对转换进行可视化，这可以使与业务/领域专家讨论转换变得更加容易。

浏览 5提问于2017-02-16得票数 0

1回答

解析Azure Web作业中的.ETL文件

c#、azure、logging、etl、azure-webjobs

我有一堆.ETL崩溃文件存储在Azure存储中，我想解析这些文件并将其存储在一个SQL表中。到目前为止，解析这些.ETL文件的唯一方法是将它们传递到tracerpt中，然后解析从tracerpt输出的XML文件。.ETL文件是由Windows中的LoggingSession对象生成的。

浏览 1提问于2015-09-26得票数 2

回答已采纳

1回答

我想知道ETL不能解决的问题。正如我们都知道的，我们可以提取数据，进行一些转换和处理，并将转换后的数据存储到数据存储中，在ETL中处理也可能非常复杂。那么，如果除了使用J2EE构建UI应用程序之外，一切都可以使用ETL完成，那么编写Java代码的范围是什么呢？哪种算法在ETL中运行良好，哪种类型的算法应该在ETL之外运行。在这方面，我更喜欢谈论ETL工具，而不是ETL这个概念，比如Talend是一个自动生成代码(特

浏览 0提问于2015-08-14得票数 0

2回答

Java:每次在文件夹中生成文件时，如何自动复制文件？

java、xml、copy、rename

我想要一个Java代码。如果生成新文件，则为：谢谢

浏览 11提问于2014-05-05得票数 0

回答已采纳

2回答

如何在从AWS Glue加载雪花表之前将其截断

snowflake-cloud-data-platform

我们有一些AWS Glue作业，它们从亚马逊S3位置读取数据，并将数据写入雪花表。我们希望在每次加载之前截断表。有人能帮我做这件事吗。谢谢，拉姆。

浏览 15提问于2021-01-28得票数 1

1回答

有没有人有一个合并-连接存储在AWS S3桶中的文件块的例子？

c#、.net、amazon-s3、aws-lambda、multipart-upload

目前，我们正在通过C#合并一些输出文件，因为我们以前在服务器上的驱动器中有这些块，但是现在我们要将这些文件从雪花直接移到S3桶上，所以最好在S3桶上合并这些文件，我们知道AWS有一些函数调用多部分上传，但是我们不知道是否可以使用该功能将这些文件从雪花上传到S3。

浏览 4提问于2022-12-03得票数 1

2回答

如何比较两个不同数据库(Oracle和DB2)中的数据

database、oracle

我们正在将数据仓库数据库从Oracle迁移到DB2。因此，从现在开始，我们的ETL工具生成数据并将其加载到DB2中。在这里，我们希望确保在ETL Job从Oracle迁移到DB2之后，数据被正确加载到DB2中。简而言之，如何验证使用相同作业加载的两个表(一个来自Oracle，一个来自DB2)之间的数据是否相同？

浏览 1提问于2014-07-23得票数 0

2回答

在没有任何外部库的c#中执行简单的SSIS样式数据流。

c#、ssis、rhino-etl

Rhino是如何做到这一点的，但没有所有的抽象和继承的类，也没有庸俗的字典？我想在一个简单的非抽象类中看到它。

浏览 3提问于2012-01-06得票数 1

1回答

如何使用Microsoft工具SSIS2005将数据从SQL Server传递到mysql？

mysql、sql-server、ssis-2005

我正在使用2005版本中的Microsoft SSIS工具来生成ETL。我想执行一个ETL，它负责将数据从SQL Server中的数据库传递到MySQL，并管理将数据从MySQL迁移到SQL Server。

浏览 17提问于2017-08-01得票数 0

回答已采纳

2回答

在AWS胶水作业中处理加密的JSON

amazon-web-services、aws-glue、aws-glue-data-catalog

在我们的本地环境中，JSON为贷款数据生成数据，并使用核心加密jar进行加密，这个加密的JSON保存到mysql表中，并且从java调用相同的核心加密jar来解密相同的JSON值。现在我们决定将Glue服务用于ETL目的。当来自加密的JSON的数据在Glue执行期间存在时，有人能在这里帮助我调用核心加密吗？我们如何在AWS Glue ETL Job中处理上述流程？

浏览 2提问于2020-08-11得票数 5

1回答

使用etl将边导入到OrientDB

etl、orientdb、orientdb-etl

我有三个表，一个是顶点A，一个是顶点B，第三个是从B到A的边，如何将这个图导入到OrientDB？目前，本教程只介绍如何导入两个csv文件，一个用于顶点A，另一个用于顶点B和A中的连通顶点A，然后加载顶点B，同时从A到B创建边。最后，我弄清楚了堆栈溢出是如何工作的。我不应该尝试在注释中插入数据，而是更新问题。如何使用OETL将这个小网络导入OrientDB？

浏览 1提问于2015-09-25得票数 4

2回答

用ASP.NET MVC从现有数据库生成种子代码

sql、asp.net-mvc-4、etl、entity-framework-migrations

我想知道是否有人遇到过类似的挑战：#endif假设模型和SQL表都是最新的，有人知道如何获取数据库的内容并<em

浏览 1提问于2013-10-07得票数 8

回答已采纳

2回答

仅当文件夹中存在完整文件时才运行SSIS

file、ssis、etl

我已经开发了一个使用平面文件的ETL。平面文件的大小从250 MB到300 MB不等。当文件夹中存在文件时，它工作得异常正常。但当文件处于生成模式时，它会失败。例如:这个ETL包从上午8点运行到上午10点，以检查文件夹中是否存在该文件。现在，在任何情况下(比方说上午9点)，如果文件正在开始生成，并且到目前为止它是10MB。ETL开始处理文件，并在4-5分钟后挂起并失败(挂起在脚本任务中读取文件是否存在于文件夹中)。注

浏览 2提问于2013-03-20得票数 2

回答已采纳

1回答

在GCP生产项目中使用云源存储库

google-cloud-build、cicd、google-cloud-source-repos

我有一个独立的云源库(不是从Github克隆的)。我正在使用它来自动部署ETL管道。因此，我遵循了谷歌推荐的指导原则，即将ETL管道提交为.py文件。与云源存储库相关联的云构建触发器将运行cloudbuild.yaml文件中提到的代码，并将生成的.py文件放入composer DAG存储桶中。Composer将获取此DAG并运行它。现在我的问题是，如何在dev和prod中编排CICD？我没有找到任何适当的文档来做这件事。因此，到目前为止，我采用的是手动方法。如果我的代码

浏览 43提问于2021-08-26得票数 0

3回答

是否有与Rails模型集成的ETL工具？

ruby-on-rails、activerecord、model、etl、data-integration

我正在研究ETL工具，用于将平面文件导入到数据库中，然后导出xml文件。注意:我对ETL (相对于批量插入或activerecord-import)的要求是转换。我们从200多个不同的来源接收各种格式、完整性和清洁度的数据。此外，“设计者”大多数包含更现实的技术含量较低的用

浏览 2提问于2012-02-24得票数 8

回答已采纳

1回答

xperf -进程对给定的ETW事件消耗的CPU周期

xperf

生成ETL文件。查询:如何使用xperf获取应用程序在时间戳(T1、T2)之间消耗的CPU周期？

浏览 3提问于2015-12-22得票数 0

2回答

我应该使用什么模型/模式来处理多个数据源？

c#、asp.net、sql

你是如何解决它的？是否有我应该查看的资源(文章、书籍、项目等)？

浏览 1提问于2009-02-13得票数 2

回答已采纳

2回答

AWS Glue ETL作业如何检索数据？

amazon-web-services、amazon-s3、aws-glue

我刚开始使用AWS Glue，我不明白ETL工作是如何收集数据的。我使用一个爬虫从一个S3桶中的一些文件生成我的表模式，并检查了ETL作业中的自动生成脚本，该脚本在这里(略有修改)：from awsglue.transforms import= {"path": "s3://myoutputbucket"}, format = "json", transformation_ctx = "dat

浏览 0提问于2018-08-23得票数 1

回答已采纳

点击加载更多