我在数据湖中有几个文件夹(例如:Test1 1容器),每个月都以这种格式创建YYYY(示例:2022-11),而在这个文件夹中,我没有几组数据文件,我希望将这些数据文件复制到数据湖中的不同文件夹中。
在接下来的一个月中,在同一个数据湖(例如:Test1 1容器)中创建新文件夹,其中包含2022-12,列表继续,2023-01.等等,我想每个月将这些文件夹中的文件复制到不同的数据湖文件夹中。
如何做到这一点?
发布于 2022-11-29 05:41:41
在这个线程中提到了解决方案,Create a folder based on date (YYYY-MM) using Data Factory?
遵循Sink dataset部分,从Dataset复制Sink section....remove参数sinkfilename,并在复制活动中使用此数据集作为源。
对我起作用了。
发布于 2022-11-29 06:16:04
替代办法。用于读取日期格式为(YYYY-MM)的文件夹
我用复制活动在我的环境中复制相同的内容。
打开接收器数据集并创建一个具有Folder
.名称的参数:
转到Connection并添加以下动态内容:@dataset().folder
您可以添加以下动态内容:
@concat(formatDateTime(utcnow(), 'yyyy/MM'))
或
@concat(formatDateTime(utcnow(), 'yyyy'), '/',formatDateTime(utcnow(),'MM')
管道成功执行并获得输出:
https://stackoverflow.com/questions/74600099
复制相似问题