Table1是包含增量数据的源表,table2是目标表。
所以我的用例是,我必须从table1获取数据,并将数据更新到table2中,但是这个过程必须使用Azure data Factory来完成。我尝试在ADF中创建数据流,但它不允许我直接与雪花连接,因为它不在支持的源列表中。本机snowflake连接器仅支持复制数据活动。然后使用Azure Blob作为数据流的来源来创建我的scd1实现,并将输出保存在csv文件
我每小时将数据从Azure data Lake Store中的csv文件加载到Azure SQL数据仓库中的表中。加载由SqlServerStoredProcedure数据工厂活动执行,输入数据集是最近一小时收到的csv文件之上的一个外部表。在数据工厂活动监视器中,一切都是绿色的(就绪),数据似乎已按预期加载到目标表中,但在SQL DW的查询活动监视器中,我看到了许多失败的