SnowFlake Azure事件网格集成-它执行文件扫描吗？
SnowFlake Azure事件网格集成-它执行文件扫描吗？
提问于 2022-04-29 18:15:11
我试图弄清楚当您设置雪花以使用Azure事件网格通知自动导入数据时，SnowPipes是如何执行的，就像本文所描述的- https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-azure.html
假设我有一个附加在雪花上的Azure数据湖Gen2容器作为外部阶段，这个容器有三个文件夹(FolderA、FolderB和FolderC)，我为每个文件夹设置了SnowPipe。然后我向FolderA添加一个文件。因此，雪花从Azure事件网格获得一条消息，表示文件已被添加(事件网格消息具有完整的文件名)。雪花知道只运行FolderA的SnowPipe设置吗？或者它会运行所有三个SnowPipes？当SnowPipe运行时，它会扫描文件吗？或者SnowPipe只是导入在EventGrid消息中命名的特定文件？
回答 1
Stack Overflow用户
发布于 2022-05-01 11:45:08
在Azure/雪花组合中设置事件网格、雪管和整体握手过程有点棘手，从未尝试过使用多个文件夹和雪管，但我更倾向于给出文件夹和文件模式，以确保即使触发了雪管，它也只会选择针对斯诺管道已包装的复制命令的文件。
在AWS中，所有带有自动取食真标志的雪管都生成相同的ARN键，而SNS (等效于偶数网格)也在每个文件夹上接受文件模式，并调用相同的ARN。因此，我假设它运行，但不复制任何东西。
但我一定会试着模拟它的工作原理。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72062171
复制相关文章
相似问题
腾讯云开发者
