1回答
有没有领域特定语言(DSL)可以将数据提取和转换作为提取-转换-加载(ETL)管道的一部分？ 我想从第三方SQL数据库中提取数据，并将数据转换为已定义的JSON格式，以便将其存储到我的应用程序中。有许多不同的数据<
浏览 17提问于2020-09-21得票数 1
回答已采纳
3回答
ETL (extract，transform，load)是将来自不同来源的数据放入数据仓库的过程。有没有相反进程的名称？从数据仓库中提取数据，对其进行转换，并将其放入表中-通常是为了提供报告工具。
浏览 0提问于2015-10-30得票数 0
1回答
我目前正在进行一个非常有趣的ETL项目，使用Azure手动转换我的数据。但是，当我开始处理多个源文件时，手动转换数据可能会让人筋疲力尽，而且会很长。我的管道目前运行良好，因为我只有几个文件需要转换，但如果我有数千个excel文件怎么办？因此，我想要实现的是，我想扩展项目，并提取来自电子邮件的excel文件，使用逻辑应用程序，然后将ETL直接应用于
浏览 2提问于2020-05-29得票数 1
回答已采纳
我最近接触了一些ETL工具，如Talend和Apatar，我想知道这些工具的目的/主要目标在外行术语中到底是什么。谁主要使用它们，如果你使用它们，它们(根据我的理解)如何比仅仅编写某种类型的脚本更好。
浏览 1提问于2009-07-29得票数 6
回答已采纳
作为电子商务系统的一部分，我需要设计和实现各种黑盒。这需要接受来自各种内部和外部数据源(即网站、extranet、yahoo商店、amazon xml提要等)的客户和订单。并插入/更新后端系统。用于插入/更新客户和订单数据的api已为网站准备就绪，并且运行良好。现在我们需要添加处理来自其他数据源的订单的功能。我一直倾向于提供者模型(每个数据源一
浏览 1提问于2009-02-13得票数 2
回答已采纳
1回答
ETL在各种算法处理方面的局限性
、、、、
我想知道ETL不能解决的问题。正如我们都知道的，我们可以提取数据，进行一些转换和处理，并将转换后的数据存储到数据存储中，在ETL中处理也可能非常复杂。那么，如果除了使用J2EE构建UI应用程序之外，一切都可以使用ETL完成，那么编写Java代码的范围是什么呢？
哪种算法在<e
浏览 0提问于2015-08-14得票数 0
请您告诉我如何使用ETL管道配置定期在postgresql中使用生产数据刷新测试数据库。除了ETL，还有别的方法吗？
浏览 0提问于2018-07-26得票数 0
我是Azure的新手。我需要将存储在json blobs中的事务MySqlDb中的表(我不知道他们为什么要使用nosql格式写入sql )中的数据传输到PostgreSql中的表中，但以扁平化的格式。这不是一次性的任务，而是需要在每次摄取事务数据库时完成，我需要将这些记录推送到postgresql数据库
浏览 20提问于2019-11-23得票数 0
回答已采纳
1回答
NoSQL作为数据挖掘解决方案？
、、、、
在哪些方面，NoSQL数据库在数据挖掘中比OLAP数据库更有用，或者它是如何不那么有用的？
从海量数据中快速检索数据，但同时拥有一个无模式的数据库，是否具有优势？
浏览 2提问于2016-02-02得票数 1
我目前正在评估Talend ETL (Talend Open Studio for Data Integration)。1)在Talend ETL中调用WS并将XML与数据一起传递
浏览 3提问于2013-02-07得票数 5
回答已采纳
我需要从GCS获取数据(csv格式)到Bigquery，然后对其执行ETL以生成结果。csv的格式可能不是固定的，可能会随着每个文件而微妙地改变。创建临时外部表以直接从GCS读取数据然后进行处理是更好，还是将数据加载到bigquery中的临时表中然后从中进行处理会更好。我正在尝试理解在执行效率方面什么是更好的设计。这些方法有什么缺点吗？
浏览 1提问于2019-12-05得票数 0
1回答
我正在开发一个使用Azure函数的ETL项目，在这个项目中，我从blob存储中提取数据，转换Python和熊猫中的数据，并使用熊猫to_sql()加载数据。我试图通过使用异步和语言工作者来提高这个过程的效率。()
如果我增加了语言工作者的数量，这是否意味着client_one_etl.main()和</
浏览 4提问于2020-05-08得票数 3
回答已采纳
1回答
我有一个大约30-40 in的数据，它表示为可扩展标记语言，并作为BLOB存储在MySQL服务器中。我想创建一个新的表，它应该解析XML并提取特定属性以存储为不同的列(10-20列)。有没有什么好的ETL工具可以做到这一点？
注意:目前我只是简单地使用JDBC和Java来进行这种转换。
浏览 0提问于2017-11-14得票数 1
我目前的任务是制作一个rails应用程序，用户可以通过rdbms(用于mysql、pg等)创建连接。和s3 (用于csv和json)。在UI上，用户将拖动一个源和目标，可以是rdbms(mysql、pg等)。或文件(csv/json)和配置表单将根据
浏览 0提问于2018-01-17得票数 2
回答已采纳
4回答
我正在考虑把我们的SSIS ETL转移到Azure数据工厂。我赞成这种飞跃的理由是：
我们的来源和目标已经在云中了。ADF是云本地的，因此它看起来非常合适。ADF是一种服务，因此我们可以按需消费和支付。SSIS意味着授权成本，并不会自然地借给它自己用于按需消费(我们考虑过使用DevOps在临时基础上旋转ETL服务器)。使用SSIS以编程方式生成ETL代码需要非常特殊的<
浏览 4提问于2016-03-14得票数 8
对于我的.NET应用程序，我有一个用作数据源的Excel文件。此Excel文件每小时更新一次。我目前的后端数据库技术是MS Access。Access文件有一个链接到上述Excel文件的链接表。我想将我的后端切换到SQL Server。
我的问题是，如何在SQL Server中创建链接表，以便始终将当前数据保存在SQL Server数据库中。现在，我已经成功地通过SQL Serve
浏览 3提问于2020-08-14得票数 0
ETL项目是使用诸如SSIS、PowerCenter等工具(提取-转换-加载)创建的项目。
这些通常包括从外部源读取数据，将其加载到暂存数据库，执行某些转换并将其加载到最终数据库。一个简单的例子是使用SSIS读取教师使用SSIS提供的excel文件，并将它们加载到数据库中。然后编写存储过程或更多SSIS包来计算每个学生的成绩，并将这些数据
浏览 0提问于2015-04-07得票数 14
3回答
寻找一个非云基础的开源应用程序来进行数据转换；虽然对于一个杀手(我指的是杀手)应用程序是为数据转换而构建的，但我可能愿意花费高达1000美元。
我看过，，等等。Perl、Python显然是语言，但无法找到仅用于处理数据的任何框架/；这意味着它们实际上不是一个很好的开发环境，这意味着没有构建用于构建RegEx、输入/输出(CSV、XML、JDBC、REST等)的GUI，也没有用于测
浏览 6提问于2010-12-03得票数 5
回答已采纳
我正在做一个项目，我需要使用ETL过程将数据加载到数据仓库中。我有csv、非结构化和平面文件格式的数据。我正在考虑使用shell脚本来执行ETL过程。我对bash shell和KornShell (ksh)都知之甚少，但我是ETL流程的新手。所以我的问题是什么是ETL过程的更好的选择。我应该使用Bash Shell还是KornS
浏览 3提问于2013-02-05得票数 2
回答已采纳
在ETL中，数据转换从数据库A开始，最后在数据库B中进行，两者都是关系数据库。也许我有一个有20年历史的系统。我使用ETL获取两个数据库之间的数据。我不知道ETL还有什么用途。在ELT中，除了数据库A的数据永远不会在数据库B中</e
浏览 0提问于2017-10-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
