运维与SRE在大促、营销或客服高峰时,用腾讯云智算、弹性容器和HAI/TI平台保障大模型推理。地点是生产集群与网关层,时间从压测、扩容到故障演练。做法是设SLO、预留实例、多级缓存、限流熔断和优先级队列,再按QPS、P95、GPU利用率、错误率与扩容耗时做阶梯加压。
相似问题