问顶点AI在增加复制数量之前将缩放到0

EN

间歇性的504错误可能是一个端点在处理负载时准备不足的结果。如果在端点有机会扩展之前将太多的预测请求发送到端点，也会发生这种情况。

对传入的预测请求进行流量分割是随机的。因此，多个请求可能同时出现在同一个模型服务器上。即使整个每秒的查询( QPS )是低的，特别是当QPS是尖峰时，也会发生这种情况。如果模型服务器无法处理负载，这将导致请求排队。这就是导致504错误的原因。

减轻504 错误的建议如下：

• 提高容器使用容器中所有资源的能力。关于资源利用，需要记住的一件事是模型服务器是单线程的还是多线程的。容器可能没有消耗所有的核心和/或请求排队，因此只能在一个时间服务。
• 自动标度正在发生，它可能需要根据预测工作量和预期进行调整。较低的利用率阈值将更快地触发自动标度。
• 在部署缩放时执行指数退避。这样，就有一种重试机制来处理失败的请求。
• 为端点提供更高的最低副本计数，您已经实现了。

如果上述建议不能解决问题，或者通常需要对这些错误进行进一步的调查，请联系GCP支持，以防您有支援计划。否则，请在问题跟踪器中打开一个问题。