我使用Azure Data Factory V2将一些csv文件从Azure Data Lake传输到Azure Synapse
在我的for-每个循环中,首先我用SP清理我的暂存表,然后我从csv文件(一个一个地)读取数据。为了将数据从CVS传输到我的暂存表,我使用了Copy Data任务。我在恢复Synapse</e
Usecase:我定期将不同大小的数据文件复制到特定的SFTP文件夹中(Daily/Weekly)。所有这些文件都需要验证和处理。然后将它们写入Azure SQL中的相关表。文件采用CSV格式,实际上是一个平面文本文件,它直接对应于Azure SQL中的特定表。计划使用Azure数据工厂。到目前为止,从我的阅读中我可以看到,我可以有一个复制管道,以便将数据从复制到Azure Blob存储。此外,我们还可以使用SSIS管道将数据从前提Server复制到Azure S