如何从Azure数据湖转换，将数据按日期文件夹分区到delta湖
如何从Azure数据湖转换，将数据按日期文件夹分区到delta湖
提问于 2022-08-09 12:29:26
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。
我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2022-08-10 07:53:04
AFAIK，Delta格式仅作为内联数据集支持，只有在数据流中才能有内联数据集。
因此，我的建议是为此使用数据流。
由于您有日期时间嵌套文件夹中的数据，所以我使用示例日期复制，如下所示。我已经上传了一个示例csv文件在每个文件夹10和9。
在ADF和源中创建数据流，选择内联数据集，以提供我们想要的通配符路径。选择您的数据格式，这里为我分隔文本。也要提供链接服务。
假设您的嵌套文件夹结构对所有文件是相同的，请按照您的路径级别给出如下所示的通配符路径。
现在，创建如下所示的增量格式接收器。
也要提供链接服务。
在接收器设置中，为您的增量文件和更新方法提供文件夹。
您可以看到执行后在文件夹路径中创建了增量格式文件。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/73291840
复制相关文章
相似问题
腾讯云开发者
