如何使用AWS Glue ETL工具从S3读取文件名
如何使用AWS Glue ETL工具从S3读取文件名
提问于 2021-04-17 20:14:45
我在S3中有一些文件，看起来像这样(都在相同的路径中)：
group1_20210415.csv
group2_20210415.csv
group1_20210416.csv
group2_20210416.csv每个文件的模式都相当简单：
group1_name, group1_id
group2_name, group2_id我希望能够使用雅典娜从S3查询这些名称和I，并在出现新文件时使用AWS Glue爬行该S3位置。
具体地说，我希望在Athena中有一个带有模式的表：
group1_name, group1_id, group2_name, group2_id, hit_date我的直觉是使用AWS Glue PySpark将S3文件中的数据合并到一个DataFrame中，这非常简单。但是，每个文件的日期存在于文件名本身而不是数据中。
有没有办法提取文件名的“日期”部分，并将其用作AWS Glue PySpark DataFrame中的一列？如果没有，有没有人的直觉建议了另一种方法？
回答 1
Stack Overflow用户
发布于 2021-04-19 23:05:28
您可以尝试这样做：data_frame.withColumn("input_file", input_file_name())，然后您可以转换此列以提取日期。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67138052
复制相关文章
相似问题
腾讯云开发者
