在我的团队中,我们通过Step函数管理ETL作业。作为应用程序需求,我们不想使用Glue工作流。
我们的大多数ETL作业(即step函数)都属于以下类型:
Run Crawler on Data Source -> Execute Glue Job -> Run Crawler on Data Target
现在,我知道我可以为AWS作业()运行,但不能在Glue Crawler上运行。我的问题是:如何使等待成为一个步骤函数,直到Crawler完成?
我想出了两种解决方案:
一个专用的Lambda定期检查Crawler状态。这是非常低效的。
Step函数等待关于Crawl