我正在创建一个管道,将一系列csvs装入Azure SQL数据库
CSV来自一个名为SystmOne的医疗软件,CSV要么是完整的数据集,要么是增量数据集。它们模式的唯一不同之处在于存在一个额外的列:RemovedData
。
该列的存在将需要在管道中增加一个步骤(使用RemovedData == true
从数据库中删除任何行)。
ADF或(带有数据流预览的ADF)中是否有一种方法来查询文件中是否有列并根据结果拆分管道?
我无法控制文件的初始输出。
发布于 2019-04-02 06:20:30
您可以使用getMetadataActivty columnCount属性检查源数据集中的列数,然后使用If活动执行您想做的事情。
IF活动中的表达式:@equals(activity('YourGet Metadata').output.columnCount,numberOfColumns)
然后,根据true或false使用propper架构选择数据集。
https://stackoverflow.com/questions/55475428
复制