当GCP中多个数据流作业并行运行时触发警报
提问于 2022-09-28 04:27:42
我正在使用google云数据流来执行一些资源密集型数据流作业。在给定的时间内，我的系统必须并行执行最多不超过两个作业。
由于每个作业都是相当资源密集的，所以当超过2个数据流作业正在运行时，我正在寻找一种触发警报的方法。
我尝试实现一个custom_count，它在每个作业开始后递增。但是，custom_couter只在作业执行后显示。到那时触发警报可能为时已晚。
回答 2
Stack Overflow用户
发布于 2022-09-28 05:16:03
您可以将项目的配额dataflow.googleapis.com/job_count修改为1，并且在该项目中不能并行运行两个作业。配额在项目一级，不会影响其他项目。
Stack Overflow用户
发布于 2022-09-28 09:12:47
另一种选择是使用GCP监视系统来观察正在运行的数据流作业。例如，您可以使用Elastic (通过Marketplace提供)加载所有相关的度量和日志。弹性可以对你感兴趣的每一种状态进行可视化和警觉。为了开始使用这种方法，我发现这个terraform项目非常有用。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/73881436
复制相关文章
点击加载更多
腾讯云开发者
