腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
SSIS
ETL
设计
、
、
、
SSIS
ETL
设计
One主表,用于跟踪数据拉出和状态表名- JobStatus表名- JobDetailsStartTime,EndTime,StatusErrorLogid,ErrorDesc,Time,评论每当作业失败时,作业详细信息表将有助于确定哪个是最后一个错误的表,
ETL
与此示例相关的任何与
ETL</
浏览 1
提问于2011-07-18
得票数 0
回答已采纳
1
回答
如何制作高层
设计
文档
ETL
、
如果有人能在
设计
ETL
时分享他们的经验,我将非常感激。请有人帮助我,我们在
设计
时要注意的是什么。
浏览 0
提问于2018-04-24
得票数 0
回答已采纳
2
回答
在数据仓库中同步
ETL
和读取
、
、
、
我有下面的场景 得到这些的最佳机制是什么?数据库锁似乎不够智能
浏览 3
提问于2012-08-21
得票数 1
回答已采纳
1
回答
Postgres:在不扫描整个表的情况下确定表中更改的最佳方法
、
我正在
设计
一个
etl
,以便从postgres表中获取增量更改。 如何检测在没有进行全表扫描的情况下运行最后一个
etl
后修改的表行?
浏览 2
提问于2017-04-07
得票数 0
回答已采纳
1
回答
如何将SQL server维度中的数据获取到mongoDB。
、
我正在尝试将我的维度从SQL server转换到MongoDB中,我可以这样做,但是我必须为每个维度编写代码,这是一种耗时的做法。下面是一些代码片段:DB db = mongo.getDB("Nelly");BasicDBObject facObj = new BasicDBObject(); String faccKey = (r.getString(
浏览 0
提问于2013-04-11
得票数 0
2
回答
Server集成服务-内存不足异常
、
、
、
我已经创建了一个
ETL
,它已经扩展到填充大约250个表(暂存表、维度表和事实表)。我从Stacia Meisner那里得到了
ETL
设计
模式,她的
ETL
设计
模式是基于创建一个模板包来加载一个分期表,加载一个维度表,然后加载一个事实表。当我在投标中运行
ETL
时,它会疯狂地消耗RAM。当我部署
ETL
并在SQL中执行它时,它没有。在我的笔记本电脑上运行的
ETL
可能会消耗大约3到4G的RAM,因为它会从父包中打开我的每个子包。现在理解这种
设计
模
浏览 4
提问于2016-11-27
得票数 1
回答已采纳
1
回答
您如何解决“预
ETL
”源代码到目标的映射问题?
、
、
、
、
使用电子表格绝对不具权威性:在
设计
和测试
ETL
作业时,源映射会发生变化。曾经用作所有源映射的单一或权威目录的电子表格可能不会随着
ETL
设计
过程的发展而更新--或者(很可能)使用不正确或不完整的信息进行更新。您如何解决您的数据映射问题?
浏览 3
提问于2013-04-10
得票数 0
1
回答
使用SSIS与.NET可执行的
ETL
、
、
目前,我有一个
ETL
作业,它将每隔X分钟在Server数据库之间传输数据。
ETL
工作是通过.NET exe完成的。最近,客户端会希望数据更加实时。使用SSIS的优点是什么?是否能够优化
ETL
流程以满足近乎实时的需求?
浏览 6
提问于2022-08-19
得票数 0
1
回答
使用
ETL
进行集合
、
、
、
例如,
ETL
是否可以用于执行聚合,以降低数据在任意时间范围内对AVG、MIN、MAX等的分辨率?例如,考虑到过去一个月外部温度的2000+数据点,使用
ETL
工作将该分辨率降低到过去一个月平均日平均值的30个数据点。(撇开这类数据的实际用例不谈,只是一个例子)。到目前为止,我的研究只建议使用
ETL
对数据进行1到1的转换,而不是1000到1。看来
ETL
更多地用于将数据转换为适当的结构以存储在数据库中,而不是用于对大型数据集进行聚合。我可以使用
ETL
来解决我的聚合需求吗?这将是一个非常大的规模,用AWS和Pyt
浏览 2
提问于2017-05-19
得票数 0
回答已采纳
2
回答
适用于多种用途和大量数据的可扩展架构(MSMQ?)
、
、
、
我正在
设计
一个系统,我将有多个用户上传大量数据。我的初始示例是100个用户,每个用户每天上传100Mb。--> wait for upload fi
浏览 16
提问于2012-02-22
得票数 0
回答已采纳
1
回答
SSIS
ETL
工艺
设计
建议
、
、
、
、
我刚开始使用SSIS,希望能得到一些
设计
ETL
过程的建议。 我提供了整个项目的图表。简而言之,我从单个Blobs获取Excel文件,将它们转换成通用模板格式,然后将它们加载到Server数据库中。我只是简单地请求帮助(
ETL
流程的控制流)应该是什么样的。在我过去的尝试中,我有一个将文件下载到本地驱动器的过程,但这并不理想。
浏览 2
提问于2017-12-17
得票数 1
1
回答
在运行时更新Talend中的
设计
工作流
、
我对Talend
ETL
工具非常陌生。我的意思是,假设我的应用程序在服务器上运行。现在,我想要更改正在运行的应用程序的
设计
工作流,以便应用程序在运行时更新为新的
设计
工作流。类似地,我想在运行时更改转换逻辑。我认为MuleSoft提供了这个条款。 请你帮个忙。提前谢谢。
浏览 1
提问于2020-08-22
得票数 1
3
回答
MongoDB摄入
ETL
设计
选项
、
、
、
、
当我使用这些其他nosql平台时,我最终编写了我自己的数据吞吐框架(通常在java中),执行类似于
ETL
的函数,再加上内联丰富。 我还没有找到一个具有类似功能的工具,但可能我错过了它。
浏览 10
提问于2014-03-28
得票数 2
1
回答
我一直在
ETL
上下文中听到这句话,但始终无法理解
、
、
、
、
但是当我听到"MetaData driven“(特别是在
ETL
的世界里)时,我不能确切地理解它的意思。 我对一个
ETL
工具SSIS有很好的经验,所以在它的上下文中的例子很容易被撤销。
浏览 0
提问于2012-08-02
得票数 4
回答已采纳
1
回答
将用于报告目的的表复制到单独的数据库
、
、
、
我有一个有大约60个表的事务性数据库( Server 2014),并且需要为报告目的创建一个单独的报告数据库。正因为如此,我希望能在Transactional上创建一些视图,然后在Reporting中创建一个基于该视图的表,并跨数据进行复制。然后,我研究了特定表上的“数据库镜像”,但这看起来很快就不可
浏览 2
提问于2017-03-14
得票数 0
回答已采纳
3
回答
ETL
工艺
设计
与性能
、
、
、
我正在为一个使用C#的数据仓库开发一个
ETL
过程,它既支持Server也支持Oracle。在开发期间,我一直在编写将数据从一个数据库同步到另一个数据库的存储过程。我的团队负责人希望使用C#代码来执行
ETL
。我们有代码生成,当数据库定义更改时自动生成新的类。这也是我决定不使用犀牛
ETL
的原因。因为生成的类更容易维护 我更愿意使用应用程序代码来执行
ETL
过程,但性能与存储过程相比非常糟糕。存储过程只需1秒,而我的
ETL
代码则需要
浏览 1
提问于2010-12-02
得票数 6
回答已采纳
2
回答
视图还是持久化表?
、
、
、
、
在构建数据仓库时,我通常看到
ETL
过程的两种主要方法:方法一显然在数据库中,它的优点是您没有那么多冗余数据,但可能会导致性能问题。第二种方法可以通过存储过程和作业等许多工具或者像SSIS这样的
ETL
工具来完成。这里的优点是很容易理解这个过程,因为你可以很好地想象它。您通常也有一个非常好的整体
ETL
-性能和许多预定义的任务等。当然,它也取决于情况(表的大小,该公司如何
设计
类似的流程,
ETL
-流程有多复杂,.)。我个人更喜欢复制表格,保持
ETL
进程的简单,如果可能的话,在<e
浏览 7
提问于2015-05-30
得票数 4
2
回答
如何有效地将数据从一个数据库复制到另一个数据库?
、
我有个概念性的问题。一个数据库( SQLBase数据库)已经包含了大量数据。此数据应通过Select和Insert传输到另一个( Server)数据库。我的第一种方法是对列表中的所有表进行排序,其中包含外键的表将存储在引用表的后面。但是有了这个解决方案,就不可能开始并行处理。 第二个想法是创建一个自定义类型,其中包含引用表的tablename和tablename,以及一个bool标志,该标志存储表中的数据是否已被复制。此类型存储在列表中的每个表中。然后,我启
浏览 0
提问于2016-01-13
得票数 1
1
回答
SQL Server2008 R2存储过程中的多个游标
、
我需要将数据从一个数据库中的多个表导入到另一个数据库中的相关表中。但是,我发现很难排除任何错误。
浏览 0
提问于2012-04-25
得票数 1
回答已采纳
1
回答
审查知识管理的技术
ETL
流程
、
、
我正在寻找源代码和所有相关的组件/材料,以审查技术
ETL
过程之间的源数据库和数据仓库,以增加我的技术商业智能知识。在哪里可以找到这些类型的源代码和数据库?我可以找到用于冒险性工作OLTP及其数据仓库的数据库,但找不到
ETL
进程的源代码。
浏览 0
提问于2012-03-16
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
什么是ETL
ETL-KETTLE工具使用
走进大数据 ETL-Load
大数据平台架构+ETL
ETL数仓工具Kettle初识
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券