水壶或PDI:在不同步骤之间共享相同的DB连接
水壶或PDI是指在数据集成过程中，不同步骤之间共享相同的数据库连接。PDI（Pentaho Data Integration）是一种开源的数据集成工具，用于将数据从不同的来源整合到一个统一的数据仓库中。
在数据集成过程中，通常需要进行多个步骤，例如数据抽取、转换和加载等。每个步骤都需要与数据库进行交互，执行相应的操作。然而，每次与数据库建立连接都会产生一定的开销，包括网络通信和身份验证等。为了减少这种开销，可以使用水壶或PDI来共享相同的数据库连接。
通过共享数据库连接，可以避免重复建立和关闭连接的过程，提高数据集成的效率和性能。同时，还可以减少对数据库资源的占用，提高系统的整体性能。
水壶或PDI的应用场景包括：
- 数据仓库构建：在构建数据仓库时，需要从不同的数据源中抽取数据，并进行转换和加载。通过共享数据库连接，可以简化数据集成的过程，提高数据仓库的建设效率。
- ETL流程：在ETL（抽取、转换和加载）流程中，需要对数据进行抽取、清洗、转换和加载等操作。通过共享数据库连接，可以减少连接的建立和关闭次数，提高整个ETL流程的效率。
- 数据迁移：在数据迁移过程中，需要将数据从一个数据库迁移到另一个数据库。通过共享数据库连接，可以简化数据迁移的过程，提高数据迁移的效率。
腾讯云提供了一系列与数据集成相关的产品，包括云数据库 TencentDB、数据传输服务 DTS、数据仓库服务 CDW 等。这些产品可以帮助用户实现高效的数据集成和管理。
- 腾讯云数据库 TencentDB：https://cloud.tencent.com/product/cdb
- 数据传输服务 DTS：https://cloud.tencent.com/product/dts
- 数据仓库服务 CDW：https://cloud.tencent.com/product/cdw
请注意，以上答案仅供参考，具体的产品选择和推荐应根据实际需求和情况进行评估。
相关·内容
1回答
MongoDB与五旬节的连接
pentaho、pentaho-spoon
我刚刚下载了宾得数据集成社区(pdi-ce-6.1.0.1-196) a.k.a。水壶，目的是设计一个ETL例程，使夜间从MongoDB方案迁移到PostgreSQL。
我无法完成第一个任务:创建一个MongoDB连接。MongoDB在New Connection对话框中没有被列为Connection Type，所以我选择了Generic database。然后，我在泛型连接所需的MongoDB字段中找不到与Custom Driver Class Name相关的任何内容。
Kettle的安装/配置有可能出错吗？我记得我不得不杀死第一家创业公司，因为它永远挂着。
或者PDI缺少一些我必须在其他地
浏览 3提问于2016-09-27得票数 1
回答已采纳
2回答
Spark能否取代ETL工具
amazon-web-services、apache-spark、etl、data-warehouse、pyspark-sql
现有的流程原始结构数据被复制到Redshift的登台层。然后使用Informatica、Telend等ETL工具对数据仓库/数据仓库的事实表和维度表进行增量加载。所有的连接都发生在数据库层( ETL将查询推到数据库中)- Spark可以取代ETL工具并进行相同的处理并将数据加载到Redshift中吗？-这种架构的优点和缺点是什么？
浏览 1提问于2016-11-26得票数 10
3回答
数据仓库的实际实现
database、data-warehouse、etl、pentaho
数据仓库似乎是最近的一个大趋势，我非常感兴趣。我试图使自己熟悉它的概念，并遇到了一个问题，“从树林中看到森林”，因为我可以在网上找到的所有数据仓库模型和描述都是理论性的，但不要给出实际使用的技术的例子。我是一个学习语境的人，所以抽象的理论解释对我没有太大的帮助。
现在似乎有许多“数据仓库模型”，但它们似乎都有一些相似的特性。通常有一个"ODS“(业务数据存储库，它将来自多个来源的数据聚合到同一个地方。然后，被称为"ETL“的过程将ODS中的数据转换为”数据库“，并再次转换为”数据“和/或”策略集市“。
有人能否举例说明这些组件(ODS、ETL、数据库、数据/战略市场)将使用的技
浏览 5提问于2011-09-30得票数 2
回答已采纳
1回答
测试ETL的最佳方法是什么-源数据与目标数据的比较
testing、etl
我们目前用于测试ETL的设置是：
目标数据仓库数据库通过链接服务器连接到源数据库。
QA团队已经编写了一个脚本，该脚本将读取、转换源数据库中的数据，并将结果与数据仓库中的表进行逐列比较，以获取100,000条记录的样本。
公司策略可能会取消链接服务器的连通性，在这种情况下，源数据库和目标数据库之间将没有连通性，无法逐列进行比较。
有没有其他方法可以在不使用任何ETL工具的情况下做到这一点(因为这是正在测试的工具)
我可以想到像(Python等)这样的第三个程序，它建立到源数据库和目标数据库的数据库连接，下载数据并进行文件比较或类似的事情。有更好的主意吗？
是否有任何工具可用于此类型的测试？
浏览 20提问于2018-01-13得票数 0
2回答
如何在包含Kettle ETL脚本的文件夹和/或SVN存储库中配置Pentaho Kettle存储库？
java、repository、etl、pentaho、kettle
我是水壶的新手，需要一些帮助来正确地设置它。我正在尝试将Kettle指向SVN存储库。目前，我只有以下文件夹。
D:\ETL\data-integration\
D:\ETL\.kettle\
D:\ETL\Kettle-custom\
D:\ETL\scripts\
D:\ETL\logs\
数据集成文件夹是从pdi-ce-4.3.0-stable.zip解压缩的。
在D:\ETL.kettle\repositories.xml中，我指向D：\ETL\Kettle-D：\ETL.kettle\repositories.xml\
<?xml version="1.0" e
浏览 1提问于2013-01-17得票数 0
回答已采纳
2回答
ETL和ELT有什么区别？
bigdata、azure-databricks、data-warehouse
我知道，在ETL中，我们转换数据并在数据仓库中加载。
在ELT中，我们将数据加载到数据仓库中，然后进行转换。
除了上述两行外，它们究竟有何不同？
一个比另一个有什么优势？
在ELT的中，我看到人们在诉说，我们利用数据仓库的力量来进行转换。为什么仓库提供转换优势？
在我的用例中，我在源ADLS (源层)中有源数据，当它使用azure Databricks时，我再次将数据摄取到我的ADLS (原始层)中，然后获取原始层数据并使用azure databricks转换数据，然后再存储在ADLS (最后一层)中。现在，将最终层数据从ADLS复制到azure sql server db，如下所示。
源AD
浏览 4提问于2022-10-10得票数 3
1回答
如何在不干扰现有接口的情况下更改oracle ODI中的源和目标表连接详细信息？
oracle、interface、oracle-data-integrator
我在一个使用Oracle ODI 10g作为ETL工具的数据仓库(Oracle数据库10g)上工作。作为数字化转型的一部分，我们正在将所有应用程序和数据库迁移到云。这将导致ODI接口中的所有源表和目标表都发生更改。这些表将保持不变，但它们的连接字符串将发生变化，因为整个数据仓库将移动到云中。 我想知道如何在不以任何方式影响现有ODI接口和包的情况下更新ODI中所有源表和目标表的连接详细信息。 有没有一种简单的方法可以从oracle ODI的拓扑管理器中更新/更改所有表的连接详细信息？我不想重新创建所有的接口，因为这不是一个可行的方法。
浏览 17提问于2019-09-03得票数 2
回答已采纳
2回答
用于大容量事务和数据仓库的PostgreSQL
postgresql、data-warehouse、etl
我对PostgreSQL非常陌生，我以前从未使用它进行过大规模部署。但是，我在企业解决方案方面有很好的经验，我想尝试应用我在PostgreSQL中学到的一些知识。
我有一个能够处理大量数据和流量的站点。该基础设施将在亚马逊( amazon )上使用EC2实例和EBS卷构建。
设计应该有两个数据库，一个主要事务数据库和一个处理分析和报告的数据仓库。
主事务数据库
将用于现场网站，该网站是建立在多个节点上，以扩大并发用户。我们主要要求这种情况下的数据库在读取操作上要非常快，我们期望大于100 30的数据年增长率为30%。此时，我们计划使用两个EC2服务器(并在以后根据需要添加更多服务器)。
我的问
浏览 0提问于2012-01-25得票数 11
2回答
五旬节报告
reporting、pentaho、business-intelligence
我一直致力于数据集成，分析和报告使用宾得。所以，最后，我需要做一些报告使用五旬节工具。问题是我们的数据太大了，所以报告平台太慢了，而且我们有这么多的线，它不时地停止响应，并且变得非常缓慢。有什么解决办法吗？一种报告工具或平台，我们可以使用它来代替五旬节报告，而不必改变整个过程并从第一个ETL步骤中获得。谢谢
浏览 1提问于2018-07-23得票数 0
回答已采纳
1回答
为每日负载SQL Server访问ETL数据
sql-server、postgresql、tsql、data-warehouse、linked-server
在DWH/ETL中使用数据或直接从源和ETL中使用数据之前，我需要您在数据库中存储数据的最佳选择。
目前的情况是我们在PostgreSQL数据库上运行事务系统。我们可以通过SQL server中的链接服务器访问这个数据库，在这里我们有数据仓库。
我们希望自动将数据从这个LinkedServer上传到数据仓库。接下来的选择/挑战，我们希望您的想法能帮助我们！
我们想让我们的ETL每天晚上跑！
我们是否先将数据从链接服务器存储到SQL表中，然后再在这些表上编写多个带有多个联接的查询，以准备将数据上载到数据仓库中？如果将数据从LinkedServer存储到Server中的表中，我更喜欢对所有这些表进
浏览 3提问于2020-01-24得票数 0
回答已采纳
5回答
OLTP关系数据库向数据仓库模型的转换
sql-server、data-warehouse、oltp
在将数据从典型的实体关系OLTP数据库模型加载到Kimball星型模式数据仓库/Marts模型时，采用了哪些常见的设计方法？
您是否使用暂存区域来执行转换，然后加载到仓库中？
如何将数据连接到仓库和OLTP数据库之间？
在何处/如何管理转换过程--在数据库中作为sprocs、dts/ssis包或应用程序代码中的SQL？
浏览 2提问于2009-05-15得票数 5
回答已采纳
1回答
将体系结构与数据仓库系统体系结构相关联
architecture、data-warehouse
下面您可以从EC4U公司找到一个数据仓库系统的体系结构。(OBI代表甲骨文商业情报)。我想将这个体系结构与数据仓库系统参考体系结构(参见第一个映像)联系起来，EC4U体系结构的哪些部分完成了引用体系结构的哪些组件的任务？
我试过了，下面你可以找到我的解决方案。是对的吗？有什么遗漏了吗？
数据仓库系统结构
EC4U体系结构
溶液
Reference Architecture | EC4U Architecture
========================================================================
浏览 2提问于2022-02-04得票数 0
2回答
构建ETL用于将数据加载到Snowflake -存储ETL元数据
etl、snowflake-cloud-data-platform
当构建ETL/ELT进程将数据加载到Snowflake数据仓库(在Azure上运行)时，我正在寻找关于在哪里最好地存储ETL元数据的建议。ETL元数据指的是编排复杂ETL工作流所需的表格数据--例如，进程之间的依赖关系，每个进程的当前状态信息，我们可以在ETL中用来迭代要加载的各个数据源的“控制表”，等等。
在构建于SQL Server之上的遗留EDW中，我们不仅可以使用SQL Server存储实际的EDW数据，还可以存储上述元数据，并且我们可以使用T-SQL来访问/操作这些元数据。
在新的实现中，Snowflake似乎不是存储ETL元数据的合适位置。然而，仅仅为了这个目的而旋转另一个云数据库
浏览 4提问于2021-01-08得票数 2
2回答
PDI或mysqldump来提取数据，而不会阻塞数据库，也不会得到不一致的数据？
mysql、pentaho、mysqldump、kettle
我有一个定期运行的ETL进程。我使用kettle (PDI)从源数据库提取数据，并将其复制到阶段数据库。为此，我使用了几个带有表输入和表输出步骤的转换。但是，我认为如果源数据库在此过程中被修改，我可能会得到不一致的数据，因为这样我就得不到数据的快照。此外，我不知道源数据库是否会被阻塞。这将是一个问题，如果提取需要几分钟(这将花费他们)。PDI的优点是，我可以只选择必要的列，并使用时间戳来仅获取新数据。
另一方面，我认为mysqldump和--single-transaction允许我以一致的方式获取数据，并且不会阻塞源数据库(所有表都是innodb)。缺点是我会得到不必要的数据。
我可以使用P
浏览 0提问于2015-08-19得票数 0
2回答
用Azure实现Excel和SSAS解决方案
excel、azure、ssas
我们有一个基本的BI解决方案使用SQL Server分析服务(SSAS)之上的Server数据库更新的标准‘业务线’系统。
桌面Excel用于连接数据立方体和数据透视表功能，用于创建报表、运行临时查询等。
问:是否有办法将此部分或全部移至Azure？什么是最好的建筑？例如：
应用程序可以像使用本地数据库一样使用基于天蓝色的Server数据库吗？
这些数据能不能使用SSIS在云中的所有SSAS中进行ETL？
用户可以通过桌面Excel访问这些基于云的数据立方体，也可以通过Excel 365或其他类似的方式访问这些数据立方体(MS似乎有一些名为Power的产品，可能涉及到这些产品)。
浏览 2提问于2014-11-05得票数 2
1回答
Pentaho数据集成中的PostgreSQL数据库连接失败
postgresql、jdbc、etl、pentaho
目的:在PDI中与PostgreSQL db建立连接。我是所有这些东西的新手，所以每前进一步都需要很长的分辨率时间。
我试图设置到PostgreSQL数据库的连接，以便为PDI中的ETL进程准备一些查询。但这种联系是不可能成功的。
我尝试过使用PostgreSQL连接类型和通用数据库连接类型，错误总是与驱动程序有关。
我试图连接的PostgreSQL db的版本是9.5.25，我使用的是Ubuntu20.04和Java8，以满足宾得数据集成的需求。
连接失败后的错误消息如下：
连接失败。请验证所有连接参数并确认是否安装了适当的驱动程序。连接到IPPort拒绝。请检查主机名和端口是否正确，以及邮
浏览 1提问于2022-03-18得票数 0
回答已采纳
3回答
.NET中ETL过程中避免OutOfMemoryException的策略
c#、.net、data-warehouse、etl
我已经写了一个执行ETL过程的ETL过程。ETL过程需要在两年内处理超过100+百万或总行的记录。为了避免内存不足的问题，我们将数据加载时间减少到每7天一次。对于每个分块流程，它加载所有需要的参考数据，然后该流程打开一个sql连接，一个接一个地加载源数据，对其进行转换，并将其写入数据仓库。
按块处理数据的缺点是速度慢。
这个过程对大多数表都运行得很好，但是有一个表内存仍然不足。进程加载了过多的引用数据。我想避免将数据分块到3天，这样它就有一个像样的性能。
有没有其他策略可以用来避免OutOfMemoryException？
例如，本地数据库，将引用数据写入文件，在Windows中产生另一个.N
浏览 4提问于2011-04-28得票数 1
1回答
我为什么要用TFS安装SharePoint？
sharepoint、tfs、azure-devops
我正在考虑升级当前的TFS实例，并计划按照复制和还原数据库，这意味着我几乎是从零开始安装新产品，然后恢复数据库，然后运行迁移工具。
我在安装说明中看到，您可以将SharePoint与其集成为一个可选的附加项。我为什么要这么做？是否可以将项目文档存储在每个项目的SharePoint文档库中，并且能够链接到该内容，而不是作为TFS中的待办事项和Bugs的附件？
我在查找SharePoint和TFS的团队工作流文档时遇到了困难，我怀疑这是因为没有人真正这么做。
更重要的是，SharePoint集成会阻碍未来的产品升级还是迁移到？
浏览 3提问于2015-05-19得票数 5
回答已采纳
3回答
五旬节数据集成中新插入或更新的行计数
pentaho、etl、pdi
我是五旬节数据集成的新手；我需要将一个数据库集成到另一个位置作为ETL作业。我希望计数ETL作业期间insert/updat的数量，并将该计数插入到另一个表中。有人能帮我吗？
浏览 8提问于2015-10-20得票数 5
回答已采纳
3回答
新的数据仓库/企业资源规划系统
erp、data-warehouse
我工作的组织非常丰富的应用程序，即有大量的SQL和Oracle数据库。我们正在考虑建立一个数据仓库。
我相信企业资源规划系统和数据仓库是有区别的。企业资源规划将涉及将所有系统集成在一起，并为每件事建立一个数据库模式。由于分析原因，数据仓库将涉及创建副本数据库(或复制数据库)。数据仓库可以从原始仓库或ERP系统中提取信息。
我理解得对吗？
是否有数据仓库产品可供使用，但或必须使用Microsoft工具/Oracle工具(如SSIS、SSAS等)来编写自己的产品？
浏览 0提问于2014-05-09得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
