腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
3
回答
五旬节数据集成中新插入或更新的行计数
、
、
我是五旬节数据集成的新手;我需要将一个数据库集成到另一个位置作为ETL作业。我希望计数ETL作业期间insert/updat的数量,并将该计数插入到另一个表中。有人能帮我吗?
浏览 8
提问于2015-10-20
得票数 5
回答已采纳
2
回答
构建ETL用于将数据加载到Snowflake -存储ETL元数据
、
当构建ETL/ELT进程将数据加载到Snowflake数据仓库(在Azure上运行)时,我正在寻找关于在哪里最好地存储ETL元数据的建议。ETL元数据指的是编排复杂ETL工作流所需的表格数据--例如,进程之间的依赖关系,每个进程的当前状态信息,我们可以在ETL中用来迭代要加载的各个数据源的“控制表”,等等。 在构建于SQL Server之上的遗留EDW中,我们不仅可以使用SQL Server存储实际的EDW数据,还可以存储上述元数据,并且我们可以使用T-SQL来访问/操作这些元数据。 在新的实现中,Snowflake似乎不是存储ETL元数据的合适位置。然而,仅仅为了这个目的而旋转另一个云数据库
浏览 4
提问于2021-01-08
得票数 2
2
回答
什么是Snaplogic?
、
、
、
根据 SnapLogic是一家商业软件公司,提供集成平台即服务(iPaaS)工具,用于连接云数据源、SaaS应用程序和现场业务软件应用程序。 它无疑是的竞争对手,但它似乎并不仅仅是另一个ETL工具。我对它用于数据集成有一个粗略的理解,但仅此而已。 它只是一个ETL工具,还是有任何其他功能?另外,iPaaS工具一般是什么?
浏览 2
提问于2016-04-19
得票数 2
回答已采纳
1
回答
用于数据集成的K2,即ETL
我的公司开始采用K2。我目前对此相当无知。由于K2可以用作数据集成/编排层,我想知道它是否也可以用于数据仓库/数据集市的ETL数据集成。我正在寻找SSIS的潜在替代方案。
浏览 6
提问于2016-01-16
得票数 0
回答已采纳
1
回答
什么是主数据?
、
、
这是商业智能、ETL数据集成和数据仓库上下文中的一个术语问题。 我一直都知道数据仓库有事务性的“事实表”,它引用“维度表”。然而,其他一些人正在使用“主数据”一词。这在ETL和数据仓库的上下文中是否有不同的含义,它是否等同于“维度表”?
浏览 0
提问于2015-11-10
得票数 2
2
回答
如何从Informatica云数据集成中调用存储过程?
、
、
我是Informatica云数据集成的新手。目前,我正在尝试将SSIS ETL转换为Informatica。 在转换时,我需要在Informatica数据集成中调用SQL Server存储过程,这主要是更新表中的一些数据。我尝试了很多方法,但都没有成功。 有人知道如何使用informatica云数据集成调用SQL Server存储过程吗?
浏览 21
提问于2019-06-25
得票数 0
回答已采纳
1
回答
如何使用五旬节来处理亚马逊红移中缓慢变化的维度?
、
、
、
由于Amazon是为阅读而不是编写而优化的,所以我如何使用ETL工具来管理一个缓慢变化的维度过程,在我的例子中是Pentaho数据集成? 由于ETL工具将逐行进行更新/插入(维度查找/更新),性能将非常低。 有人已经经历过这个问题了吗?
浏览 5
提问于2016-05-18
得票数 4
1
回答
控制流和数据在服务之间应该分开吗?
、
控制流程和数据应该分开吗? 我心中最明显的答案是..。但我想要一些更明确的理由为什么不..。 所以..。下面是一个场景 服务生成数据并将其发布到本地表中,以便进行ETL单独的处理,获取数据并集成到主报表数据仓库中。 有人建议源服务应该通知ETL数据是可用的.所以它不需要定期检查 我一点也不喜欢这样..。为什么? 它创建了一个结构依赖关系,因为服务需要了解ETL。 它还会创建时间依赖关系(如果两个进程都关闭/崩溃了怎么办?) 如果ETL对数据感兴趣,它应该主动进行检查--另一种方法是服务将其主动发送到消息队列,从而委托队列基础设施的通知。
浏览 2
提问于2013-03-06
得票数 2
2
回答
使用intellij将ETL与Java集成
、
我想从java上的ETL开始。我用的是Intellij。我想知道集成是如何完成的,或者哪个工具与intellij兼容。此外,如果有任何关于使用java的ETL基础的教程。 如果我想要进行数据转换,那么我需要的到底是什么?它可以是基本的,就像从文件中随机输入并根据特定逻辑转换数据一样
浏览 1
提问于2017-07-04
得票数 0
3
回答
将作业从talend DI导出到talend大数据
、
、
、
、
我是talend ETL工具的新手,我在talend DI(数据集成)工具中创建了工作流程,现在我想用hadoop切换/实现相同的任务,因为我使用的是talend大数据工具。有人能解释我怎么做到这一点吗。Talend DI到Talend大数据集成。
浏览 5
提问于2016-06-15
得票数 0
回答已采纳
1
回答
春批和xd对数据集成有好处吗?
、
、
我已经尝试过集成工具,比如Kettle和jasper -它依赖于ETL。 我也尝试过使用spring批处理和xd作为数据集成,它非常好。但是没有关于春批或xd数据验证的文章(确保数据的一致性,避免重复等等)。 我需要一些关于以下方面的建议: spring批处理是数据集成的好工具吗? 如果是好的技术如何做数据验证?
浏览 3
提问于2015-02-26
得票数 0
2
回答
如何检索表的所有数据,并将其复制到另一个表中
、
我使用的是五旬节数据集成,我想从一个表输入中生成或复制数据,以便使用ETL为pdi中的另一个表输出生成数据。
浏览 4
提问于2021-03-09
得票数 0
回答已采纳
2
回答
用于大文件的Spring集成
、
、
、
、
我需要使用spring集成对大数据包执行ETL操作。例如,我有一个很大的xml文件,比如: <school> <cource name="A"> <class> <name>A1</name> <students>20</students> </class> ... <class> <name>A35</name
浏览 5
提问于2013-01-16
得票数 1
回答已采纳
1
回答
基于浏览器的水壶功能
、
目前,对于数据集成作业和转换,用户使用Kettle客户端通过Spoon GUI执行ETL操作。 我的问题是,是否有一个基于浏览器的功能可供Kettle使用,用户可以在浏览器中设计转换和进行作业集成,而不是使用桌面PDI应用程序?
浏览 4
提问于2014-07-23
得票数 1
2
回答
将转换负载提取到MySql中
、
、
、
我基本上来自微软背景,为ETL寻找的项目多做SSIS工作。 现在,我手头有另一个项目,负责将.csv文件加载到MySql数据库中。在加载这些表的过程中,数据必须经过一些转换,然后进入目标表。这是ETL项目的大部分内容。 客户端没有SSIS (投标),必须使用开源工具. 我做了一些研究,发现Talend数据集成工具最适合我的情况。 作为这个环境的新手,并且我确信在这个领域有专家,我需要一些关于做这种类型的ETL的最佳工具和最佳实践的建议。 如果需要进一步的信息,请告诉我。
浏览 5
提问于2012-10-15
得票数 0
2
回答
多个五旬节变换“变量?”
、
我正在使用五旬节数据集成软件。 我目前作为ETL管理着一份五旬节工作。我将来自多个地方的ETL数据放入一个数据库表中。所有来自ETL的地方的模式完全相同。因此,除了数据库连接和存储数据来源的单一“变量”之外,五旬节中的转换对于每个变量都是完全相同的。所以我有一份工作,负责每个转换。 当我想改变的时候,问题就来了。每次我需要更改6个转换。我想要做的是,以某种方式设置一个类似宾得的变量,它告诉它运行一个单独的转换,6次,有不同的数据库连接,也许还有一个变量。 这个是可能的吗? 谢谢你的进阶。
浏览 2
提问于2014-11-07
得票数 0
回答已采纳
2
回答
如何建立具有Azure集成运行时的Azure数据工厂的高可用性?
、
、
我们计划使用Azure数据工厂来处理一些ETL管道。我们还计划使用Azure集成运行时,因为Azure中所有可用的数据源和接收器,而且我们没有任何使用自托管集成运行时的需求或用例。 我找到了一些资源,这些资源讨论了如何为Azure数据工厂设置带有自托管集成运行时(而不是Azure集成运行时)的HA/DR。我想了解或知道如何使用Azure集成运行时为Azure数据工厂设置HA/DR。如果有人能帮我做这件事就太好了。
浏览 4
提问于2020-03-10
得票数 0
回答已采纳
2
回答
如何在包含Kettle ETL脚本的文件夹和/或SVN存储库中配置Pentaho Kettle存储库?
、
、
、
、
我是水壶的新手,需要一些帮助来正确地设置它。我正在尝试将Kettle指向SVN存储库。目前,我只有以下文件夹。 D:\ETL\data-integration\ D:\ETL\.kettle\ D:\ETL\Kettle-custom\ D:\ETL\scripts\ D:\ETL\logs\ 数据集成文件夹是从pdi-ce-4.3.0-stable.zip解压缩的。 在D:\ETL.kettle\repositories.xml中,我指向D:\ETL\Kettle-D:\ETL.kettle\repositories.xml\ <?xml version="1.0" e
浏览 1
提问于2013-01-17
得票数 0
回答已采纳
2
回答
如何使用SSIS组件(C#)和Google.Apis.AnalyticsReporting.v4对google分析数据进行ETL
、
、
、
我想使用Google.Apis.AnalyticsReporting.v4来ETL谷歌分析数据到我们的数据仓库。值得一提的是,我使用微软集成服务(Microsoft Integration Service)和脚本组件(C#)作为任务来ETL上述数据。 我发现这项任务非常困难,并找到了这些参考资料, 它不是V4,它使用Google.Apis.Analytics.v3来完成这项工作。首先,我创建服务帐户, 并保存服务帐号email和.p12 key,之后我使用这个方法。 使用Google.Apis.AnalyticsReporting.v4,但许多参考文献都有错误,而且它们很旧,例如使用Go
浏览 1
提问于2019-09-18
得票数 2
1
回答
powerbi数据准备的最佳实践是什么?
、
、
、
在Powerbi中提供了用于数据准备(etl)的所有工具之后,我想知道准备数据的最佳实践是什么: 1-使用ssis建立一个集成的数据仓库,然后将PowerBI连接到报表中。 2-只使用PowerBI编写数据和编写报告。
浏览 0
提问于2019-08-12
得票数 1
回答已采纳
1
回答
Grails为dev/test启动了两个内存中的数据库?
、
、
、
、
有没有办法用grails启动两个内存中的数据库?具体地说,我想集成测试我的ETL流程,并允许报告在开发和测试环境中都可运行。
浏览 1
提问于2011-06-27
得票数 3
回答已采纳
7
回答
有开放源码/免费的ETL吗?
在五旬节买下它并称之为它之前,我就一直在使用宾得数据集成。我有最后一个免费版本。 我最近在他们的网站上查看他们是否发布了另一个版本,结果发现我最喜欢的开源版本etl已经不太开放了,也不太免费了。 你们中有谁知道可负担得起的、易于使用的ETL工具的替代品吗?
浏览 0
提问于2011-04-05
得票数 26
回答已采纳
2
回答
如何将我的PostgreSQL数据ETL到ClickHouse数据仓库?
、
、
、
、
我将数据存储在postgreSQL中作为数据源,我希望加载clickhouse数据仓库的维度和事实表,我对clickhouse很陌生,并且使用传统的集成工具(如Talend和Microsoft )来执行ETL (PS --我对clickhouse和postgreSQL都使用了坞映像)
浏览 52
提问于2022-08-16
得票数 0
5
回答
测试ETL和数据仓库应用程序的实际策略是什么?
、
对于如何成功地测试大型ETL或数据仓库应用程序,有人有什么建议要分享吗? 当然,我有自己的想法,但似乎只有一个主要的在线文章涵盖了基本知识: 数据完整性。确保加载所有预期数据。 数据转换确保根据业务规则和/或设计规范正确转换所有数据。 数据质量确保ETL应用程序正确拒绝、替换默认值、更正或忽略并报告无效数据。 性能和可伸缩性。确保数据加载和查询在预期的时间范围内执行,并确保技术架构具有可伸缩性。 集成测试确保ETL流程与其他上游和下游流程一起运行良好。 用户验收测试。确保解决方案满足用户当前的期望,并预测他们未来的期望。 回归检验确保每次完成新版本的代码时,现有功能保持完整。
浏览 0
提问于2011-05-04
得票数 8
回答已采纳
1
回答
开发数据存储步骤的标准过程
对于ETL作业,我有使用宾得、凯特尔和塔伦德数据集成的经验,通常开发转换的高级流程是: 定义源连接 定义目标连接 定义源和目标之间的数据转换 开发数据存储作业的“标准”高级流程是什么?它是否与上述过程类似?
浏览 2
提问于2015-07-20
得票数 0
回答已采纳
1
回答
用WSO2技术和方法代替ETL的直接集成
、
我有两个带有Server数据库的.NET应用程序,系统A&B系统A现在通过数据库-数据库方法直接连接到系统B。ETL包从system数据库读取数据,并在进行一些转换和聚合之后将其复制到system数据库。整合是好的,生活是容易的。 我们公司引入了WSO2中间件ESB,并决定避免任何两个系统之间的任何直接集成,因此,应该利用WSO2集成技术重新开发上述集成,并通过中间件进行开发。 我的问题是:使用WSO2实现此场景的最佳架构/设计是什么? ETL从系统A读取数据,然后将其放在中间件中,然后系统B从中间件数据库读取?这里的附加值是多少? 中间件连接到系统A,将数据保存在中间件内部的
浏览 4
提问于2017-10-31
得票数 0
1
回答
用SQL实现复杂的计算,或者更确切地说使用ETL?
、
、
、
、
我们目前正在开发一个用于财务分析的web应用程序,使用PHP (ZendFramework2)和Doctrine作为ORM工具(MySQL数据库)。复杂的财务计算是在服务器端进行的,因为客户端必须尽可能简单。数据应该是几乎实时的,因为用户正在实时地输入数据。所有用户数据将立即传送到服务器。 对于财务计算,我们必须使用自定义筛选和数据聚合连接多个表。业务逻辑和计算相当复杂。 因此,我们关心的是将业务逻辑和规则混合到SQL语句中(封装原则)。即使使用ORM工具,也会有一些语句使用本机SQL,不容易理解/修改。 我们考虑使用ETL或BI软件进行数据处理。但是大多数ETL工具和BI软件都是用Java编
浏览 3
提问于2015-05-26
得票数 0
回答已采纳
2
回答
链接服务器与SSIS
、
、
、
、
当我想在两个数据库之间移动数据时,还有什么更好的选择呢? A)链接服务器 数据库本地->链接服务器->数据库azure b) ETL - SSIS 数据库本地创建过程xml服务集成服务->序列化xml到对象服务调用wcf服务异步( -> - c#> ) ->持久化数据库azure
浏览 1
提问于2015-09-02
得票数 0
2
回答
从变换中提取行为
、
、
在实际ETL处理之前和之后,我有几个转换,它们都执行类似的功能: 查看某些目录,看看是否出现了用于集成的新文件(数据库中维护的目录)。 Mark发现数据库中的文件“正在使用”(并存储一些其他文件属性)。 将文件移动到“正在使用”子目录。 运行ETL进程 将文件标记为“已完成” 将文件移至“已完成”子目录。 这些步骤是业务要求,并且基于文件输入为每个ETL进程100%相同(除了要搜索的目录列表和已注册文件的不同数据库表之外)。保持这个几乎相同的过程的X拷贝(如果需要改变,更新它们都是不理想的) 因此,我创建了一个“骨架”转换,实现了所有这些,并通过将一个变量传递到
浏览 0
提问于2018-08-16
得票数 0
回答已采纳
2
回答
ETL工具雪花
、
、
我们将从SQL服务器转移到雪花作为仓库的目标数据库。今天,我们大部分的ETL开发都是在ODI (Oracle数据集成器)中完成的。 所以我很想知道是否有人在和雪花一起使用ODI,以及它是如何工作的。以及您对其他ETL工具的经验/建议,以及以雪花为目标的工具。 例如 马蒂利安 DBT 施富尔德 今天,我们已经开始使用NIFI将数据从源转移到Azure blob存储。但是我们不确定ODI是否是我们在云中时的合适工具。 我真的很期待看到你所有的答案
浏览 12
提问于2021-12-08
得票数 1
1
回答
Pentaho案例研究或用例
、
、
、
、
我得到了一份ETL开发人员的工作机会,但他们告诉我要展示一个使用spoon进行Pentaho数据集成的案例研究或用例。我是这个领域的新手。你能推荐我一个可以开始我的案例研究的地方吗?我不知道怎样才能做一个五角大楼数据集成( spoon)的案例研究。我已经探索了使用spoon的Pentaho数据集成中的几乎所有函数(转换、流、输入、输出对象)。现在,我不知道如何收集所有对象来创建一个用例。
浏览 18
提问于2020-07-19
得票数 0
回答已采纳
1
回答
Excel到Azure到SQL
、
、
、
、
我读过一些关于这方面的文章,但我注意到大多数已经过时了,excel在2020年成为一种集成。 我在Drobox中存储了几个excel文件,我想将这些数据自动提取到蔚蓝数据工厂,使用来自其他来源的数据执行一些ETL功能,最后将最终的完整表推到azure SQL中。 我想问一问,最有效的方法是甚麽? 它会在自动化逻辑应用程序的基础上将xlsx文件提取到Azure Blob中,使用ETL的数据工厂,与其他SQL表连接,最后将最终的表推到Azure SQL中吗? 很感激你!
浏览 2
提问于2021-07-26
得票数 0
回答已采纳
2
回答
推荐的ETL工具
、
、
目标: 找到一个新的ETL工具来代替微软集成服务。 条件: 开源,或免费使用。没有审判。 用户友好。 信息: 我使用不同的数据库,即SQL server和postgreSQL进行一些事务处理。 我需要在SQL server与PostgreSQL之间进行一些数据事务处理。
浏览 0
提问于2014-06-05
得票数 5
1
回答
用于从表中删除数据的pentaho spoon转换
、
、
我正在尝试写一个ETL作业使用五角大楼数据集成工具,在spoon。使用了"delete“图标并提供了目标表的详细信息,但是行没有得到deleted.and没有错误。我有访问schema.Please建议的权限。
浏览 0
提问于2015-07-31
得票数 1
1
回答
仅捕获更新后的值
我们是否使用集成中心中的基于时间的筛选选项仅获取更新的记录? 如何使用ETL工具“集成中心”从"HCM SAP SuccessFactor“中仅获取更新后的字段值?
浏览 1
提问于2016-09-28
得票数 0
1
回答
测试ETL管道的最佳实践是什么?
、
在传统的软件开发实践中,在投入生产之前,一段代码必须经过不同阶段的测试(单元测试、集成测试、用户验收测试),以保证软件的稳定性。 ETL管道作为一段代码,也应该通过这些测试步骤来构建一个健康的系统。 然而,由于ETL工艺的性质,传统的测试技术可能不适用。 是否有专门针对ETL管道测试的参考或指导方针?
浏览 0
提问于2019-05-07
得票数 4
1
回答
用于JSON输入的PDI元数据注入
、
、
、
实际上,我需要创建一个转换,它将从系统目录读取JSON文件,并根据元数据输入重命名JSON字段(键)。最后,使用JSON输出步骤将修改后的JSON写入“.js”文件。必须使用ETL元数据注入步骤完成此转换。 由于我是新的五旬节数据集成工具,谁能帮助我的示例'.ktr‘文件为上述方案。 提前谢谢。
浏览 7
提问于2017-09-13
得票数 0
1
回答
变更数据捕获和动态AX
、
、
、
、
为了优化Axapta系统的数据集成,我们将要求他们启用变更数据捕获(CDC)来跟踪变更表,并使用SSIS 2012 (增量加载等)改进我们的ETL。 但我对Axapata系统一无所知。在他们的操作基础Axapta上激活CDC会给他们带来麻烦吗?应该采取特别的预防措施吗? 提前谢谢你。
浏览 2
提问于2014-05-15
得票数 0
2
回答
蒙戈ELT管道
、
、
我正在尝试使用Fivetran将我的数据输入到Amazon,但是对于ELT/ETL过程,我有一些一般性的问题。我的源数据库是Mongo,但我想使用第三方BI工具(如Looker )对数据进行深入分析,但它们与SQL集成。我是ELT/ETL过程的新手,我想知道会不会是这样。 从Mongo提取数据(由Fivetran处理) 加载到(由Fivetran处理) 执行转换-这是我最大的知识差距所在。显然,我必须将对象和数组转换为兼容的SQL类型。我可以对所有对象执行转换,将这些对象提取为列,并将所有数组转换为表。这主意对吗?我应该设计一个MYSQL模式并根据这个模式设计编写所有的转换吗?
浏览 3
提问于2020-10-28
得票数 2
回答已采纳
1
回答
为什么airflow有SQS集成
、
、
我正在尝试为SQS队列上的消息做ETL,airflow有一个SQS集成(传感器),这让我认为它能够不断地轮询SQS以运行DAG。然而,情况似乎并非如此。它运行dags和轮询消息的最快速度是每隔几秒一次,这对于我正在尝试消耗的大量数据不起作用。 我想知道为什么airflow有SQS集成,或者它是不是适合这项工作的工具。
浏览 46
提问于2020-07-01
得票数 0
1
回答
使用cloudconnect加载PostgreSQL数据库
、
、
在我的Gooddata项目中,我维护一个包含几个表的小型PostgreSQL数据库。 我希望能够使用相同的工具集成两个ETL进程,在我看来,cloudconnect是最简单的方法,因为我已经有了我的整个GoodData ETL。 以下是我试图做但没有成功的方法: 我试着查看文档,在我看来,所有启用此功能的CloverETL功能(DBOutput、PostGreSQLDataWriter)在Cloudconnect中都不可用。 我设法连接到敏捷数据仓库服务(附在GoodData上的数据库),但似乎只有ADS数据库能够理解请求: 从本地“MyDataBaseTable {DATA_TMP_
浏览 4
提问于2016-01-29
得票数 1
1
回答
用于连接到MsSQL的命名实例的JNDI示例
、
、
、
我们正在使用Pentaho数据集成(开源ETL工具),并尝试使用JNDI连接来连接到MS SQL 2005数据库。如果我们使用服务器上的默认实例,它工作得很好,但是我们遇到的问题是试图让它连接到命名实例。 如果你能提供一个例子或者可以参考的地方,我们将不胜感激。 谢谢。
浏览 0
提问于2011-08-09
得票数 0
1
回答
云SQL中批量加载数据的ETL方法
、
、
我需要ETL数据到我的Cloud实例中。这些数据来自API调用。目前,我在Kubernetes中运行一个定制的Java代码,并使用Cronjobs来请求收集这些数据并将其加载到Cloud上。问题在于管理ETL代码和监视ETL作业。当合并更多ETL过程时,当前的解决方案可能不会很好地扩展。在这种情况下,我需要使用ETL工具。 My实例包含两种类型的表:公共事务性表和包含来自API的数据的表。第二种类型主要是“操作数据库透视图”中的只读类型,每小时(批量)大量更新大量表,以丢弃旧数据并刷新值。 考虑到这种情况,我注意到Cloud是GCP提供的ETL工具。但是,这个工具似乎更适合于需要进行复杂转换并
浏览 1
提问于2018-10-24
得票数 1
回答已采纳
1
回答
Excel到一个数据库输出中的多个表- PDI
、
、
、
我在我的ETL过程中使用宾得数据集成..。我有多个excel文件,我需要合并和上传到一个数据库。但是,我不能将字段分发到数据库中的相应表中。一次只能寄到一张桌子上。还有别的办法吗?如何拥有多个目标表? 我使用MySQL工作台作为数据库。 谢谢你的帮助!
浏览 3
提问于2017-02-03
得票数 0
回答已采纳
2
回答
从与主数据库实例不同的服务器运行SSIS
、
、
我们目前有一个(SSIS)包,它执行提取-传输-加载(ETL)过程,将一些数据从Server移动到DB2。在当前生产服务器上,SSIS与数据库实例安装在同一服务器上,包执行由SQL代理通过作业管理。 我们将我们的SQL基础设施升级为集群,高级数据库管理员希望它自己的服务器上有SSIS,所以ETL服务器是通过在机器上安装集成服务服务来设置的。 SSIS服务器还需要自己的数据库实例和/或SQL代理来管理包的执行吗? 在这个场景中,我很难理解所有的片段是如何工作的。 我们正在使用Server 2008 R2 SP1。
浏览 0
提问于2012-09-30
得票数 7
回答已采纳
1
回答
ETL工具还是临时解决方案?
、
、
、
我正在设计一个数据仓库系统,原始数据源有两个:文件(十六进制格式,已知记录结构)和PostgreSQL数据库。ETL阶段必须读取两个源(文件和数据库)的内容,并合并/集成/清理它们。之后,将数据加载到DW中。 出于这个目的,是更好的工具(例如Talend)还是ad-hoc解决方案(使用编程语言编写ad-hoc例程)?
浏览 0
提问于2012-07-12
得票数 1
1
回答
spring集成与反应性流
、
、
、
、
我在做一个ETL项目。我已经使用spring集成很长时间了。数据源目前是文件或历史记录,但它可能会更改为活动流,并且卷很可能会增加。未来有可能转向大数据解决方案(hadoop、spark等)。 基于此,我需要比较一下spring集成和反应性流吗?为什么有人会用一种而另一种(或者我一开始就试图比较两者)?你认为它们可以一起使用的场景(如果有的话)?
浏览 2
提问于2015-10-13
得票数 6
1
回答
与SSIS集成
、
我知道SSIS是一个ETL工具。这是基于SQL Server的。 是否可以在不使用SQL Server数据的情况下使用它? 我想集成两个应用程序 我可以使用一个应用程序的API提取数据,然后转换这些数据,然后将其加载到另一个应用程序(NetSuite)中吗? 不需要在SQL Server中进行读取或写入。
浏览 11
提问于2020-02-10
得票数 0
回答已采纳
1
回答
数据集成:将数据转换为标准格式
、
、
、
我正在尝试使用ETL工具(Talend)进行数据集成。 我面临的挑战是,当我试图将来自不同来源(不同格式)的数据转换成一种格式时。 源可能有不同的列名和结构(顺序、数据类型等)。所以不同的元数据。在我看来,这是一个非常普遍的情况。但是该工具无法处理它,因为它没有提供任何动态映射功能。 处理这种情况的最佳方法是什么?
浏览 4
提问于2014-07-28
得票数 2
回答已采纳
1
回答
SSIS与Oracle数据积分器
、
、
、
、
目前我是一名数据工程师,主要使用SSIS。在阅读市场上可用的ETL工具时,我发现Oracle有自己的ETL工具ODI (Oracle数据集成器)。我在Oracle和SSIS之间寻找一个不偏不倚的比较。我没有找到任何关于这方面的文章。有一些有偏见的文章,例如: 基于堆栈溢出问题,有关SSIS的问题约有16000个,而ODI大约有200个问题。这意味着SSIS更受欢迎。 这两种技术之间是否有任何不偏不倚的比较?ODI提供的服务和SSIS中没有的服务是什么? 请不要征求个人意见,我需要一个不偏不倚的答案
浏览 0
提问于2018-11-19
得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从ETL到数据集成,企业应该如何选择大数据技术?
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
走进大数据 ETL-Load
大数据平台架构+ETL
ETL-数据清洗过程
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券