胶水爬行器无法排除.csv.metadata文件
胶水爬行器无法排除.csv.metadata文件
提问于 2019-02-19 16:16:50
我有一个S3位置s3://bucket-name/folder-name/，它由一个子文件夹组成，该子文件夹的名称是动态生成的，其中包含短语_Top10InvoiceIds。该子文件夹由.csv和.csv.metadata文件组成。我使用胶水爬虫只爬行csv文件，并在雅典娜中查看它们。但我无法排除.csv.metadata文件。我已经尝试了所有可能的正则表达式模式作为glob值。
我的一些尝试是：
*_Top10InvoiceIds/ *.metadata*_Top10InvoiceIds/ * .* metadata*_Top10InvoiceIds/ *. *.metadata*_Top10InvoiceIds/ * .csv.metadata** .metadata* .metadata* .csv.metadata* /*.metadata
如果有人能帮我弄清楚这个模式或提出另一种方法来做同样的事情，那就太好了。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54761568
复制相关文章
相似问题