我已经创建了一个web抓取python脚本,它在我的本地系统上运行良好,需要30分钟。
但是,当我试图将脚本放到GCP云功能上时,它在60004 ms之后抛出了超时。
2022-03-16T11:41:01.420461007Zget_training_databudock8slftb Function execution took 60004 ms, finished with status: 'timeout'
Function execution took 60004 ms, finished with status: 'timeout'
为了完成这个任务
我正在寻找一种推荐的模式,以应对我们在长期运行的Fi还原备份过程中遇到的挑战。Firestore是一个夜间运行的云函数。这个过程目前大约需要4分钟。我们希望在此过程完成时将消息发布到Pub/sub中,以便可以触发使用备份作为数据源的额外云功能。我们唯一的问题是云函数的最大超时时间,目前是540 S (9分钟)。虽然我们目前还在这一限度内,但情况可能并不总是如此。
那么,是否有建议的GCP设计模式可以处理一个运行时间未知的长流程,并在完成时能够向发布/子主题发布消息?我在想,最好是向主题发布一条消息,并在一些延迟(比如1小时)中构建,这样就可以阻止消息在延迟结束之前发布。我一直在研究酒吧/潜艇的