我们有一个读取分层Avro文件的用例,该文件的Schema在摄取过程中会动态更改。我知道对于扁平化文件,我们可以使用Crawler读取元数据并从中创建一个架构,但是我想知道crawler是否可以从分层文件中读取架构并刷新Glue ETL作业。请分享你对此的看法。
谢谢!!
发布于 2020-06-09 22:27:11
Glue爬虫可以读取分层架构,并且可以动态地用于Glue作业
https://stackoverflow.com/questions/62240704
相似问题