我有一个场景,在我的源文件和目标文件中都是平面文件。我想使用数据流在目标平面文件上实现SCD-2。我尝试使用alter row然后sink,但后来发现平面文件的sink没有提供update row选项的选项。是否有解决此问题的方法。
谢谢。
发布于 2021-02-13 08:42:10
不适用于文本平面文件。但是,如果在您的用例中可以接受Parquet / Delta输出,则可以通过在接收器中使用Delta作为数据集格式来实现这一点。
https://www.youtube.com/watch?v=evqQRwsF_Ps
https://docs.microsoft.com/en-us/azure/data-factory/tutorial-data-flow-delta-lake
https://stackoverflow.com/questions/66177212
复制相似问题