试着自学一些ETL技能,需要一些帮助,用最好的方法来完成某些任务。我试图将来自我们的客户服务平台Freshdesk的数据导入到我们的SQL数据仓库中。我们是微软的一家公司,我使用microsoft Azure Data和Microsoft逻辑应用程序完成了一些类似的任务。逻辑应用程序是低/无代码,更直观一点,所以我现在试着使用。然而,我觉得Data可能是最有效的方法(尽管目前还不确定如何做到这一点)。任何帮助或指向正确的方向,我们将不胜感激。
发布于 2021-08-24 21:01:18
Azure数据工厂
如果必须将大量数据从数据湖或企业数据仓库(EDW)移动到Azure。对于大数据分析,您可能需要从多个来源将大量数据导入Azure。在每种情况下实现最优的性能和可伸缩性是至关重要的。
此外,在复制活动中,您可以考虑增加DTU/并行复制选项,这可以帮助您提高复制性能。
逻辑应用程序
当涉及到执行重复活动时,现代数据平台逻辑应用程序是非常棒的。有几个连接器可用,而且看来,逻辑应用程序所能完成的任务的唯一限制是您自己的想象力。
事件驱动架构(EDA)范式涉及到一代-
事件的检测、消耗和反应。在数据集成场景中,用户通常需要根据存储帐户事件(例如Azure Blob存储帐户中的文件到达或删除)激活管道。
因此,Azure Data将是一个比Azure Logic更好的选择,但是当涉及重复任务时,我们可以使用Azure Logic通过ADF编排ETL。使用哪种应用将受到当前情况的很大影响,因此有必要探讨如何将ADF、Logic和其他服务(如函数)结合起来。
https://stackoverflow.com/questions/68913977
复制