我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。
我希望将实体截断为新数据,并附加到数据湖中已经存在的文件中,而不是批量复制。
我认为这是SQL数据库的常见操作,但这可以在Dynamics 365和数据湖之间完成吗?
发布于 2019-05-01 16:59:53
您可以向查询添加筛选器,以获取在过去24小时内修改过的记录。
此外,您可以将Dynamics设置为将其数据复制到外部SQL数据库。
发布于 2019-05-01 17:02:55
Azure Data Lake存储Gen2作为源类型仅支持三种复制行为。
我尝试了这三种处理行为,它们都不能帮助你添加到数据湖中已经存在的文件中。如果选择exist文件,则当复制活动完成时,exist文件将被覆盖。
更多详细信息,请参考:Azure Data Lake storage Gen2 as a source type。
在Dynamics 365和具有Azure Data Factory的数据湖之间无法完成此操作。
感谢詹姆斯·伍德为我们提供了一个很好的解决方案。把我的答案和他的答案结合起来,问题就解决了。
希望这能有所帮助。
https://stackoverflow.com/questions/55929640
复制相似问题