支付服务在腾讯云服务网格(TCM)里开始返回 500,调用方 DestinationRule 已经写了熔断。故障窗口里下游 QPS 几乎没掉,或者调用方先被 503 打满、下游错误率并不高。Istio 把两套 Envoy 机制放进同一份规则,名字都叫熔断,限制的不是同一件事。
circuit breaking 限制的是到一个 upstream cluster 的连接、排队、在途请求和并行重试。Envoy 未改配置时默认 1024、1024、1024、并行重试 3。它不看错误率,下游一直 500 也不会打开。溢出立刻失败,HTTP 打上 x-envoy-overloaded,访问日志 %RESPONSE_FLAGS% 是 UO,状态码 503。
outlier detection 才按 host 看失败。默认连续 5 次 5xx(TCP 是连接失败)摘出负载均衡,基础时间 30s,间隔 10s,最多摘 10%。健康 host 一个都不剩时标志是 UH,同样 503。只看状态码分不清是并发被拒,还是实例被摘光。
机制 | Istio 字段 | 打开之后 |
|---|---|---|
并发熔断 |
| 503,标志 |
异常点摘除 |
| host 暂时退出均衡;全不健康时 503,标志 |
TCM 兼容 Istio CRD。东西向在 sidecar 上执行,南北向在边缘代理网关执行,生效点是每个代理进程,不是控制面的全局计数器。pilot 生成 cluster 时把 max_connections、max_pending_requests、max_requests、max_retries 写成 2^32-1。没写 connectionPool,并发熔断等于没开。
connectionPool 下发的是 cluster 级 circuit_breakers.thresholds,不是 per_host_thresholds。文档写「每个上游 host」,生成结果是一个 sidecar 对整个上游 Service 共用一份预算。4 个支付 Pod 抢同一份在途额度,不是各得一份。
代理之间不汇总。调用方 20 个副本、http2MaxRequests 为 50,东西向在途上限是 20×50。HPA 扩调用方,下游看到的上限跟着变大。南北向的乘数是边缘代理网关副本数,TCM 网关接 CLB,入口熔断算在网关 Envoy 上。
被调方也有 sidecar 时,连接池还会套到入站 cluster;异常点检测只给出站。每个被调 Pod 的入站连接再受一次 maxConnections。没有 sidecar 就没有这层。
HTTP/2 未限制每连接并发流时,请求复用已有连接,排队熔断只在还没有连接时触发。限制在途请求看 http2MaxRequests,HTTP/1.1 和 HTTP/2 都适用。官方任务是在 HTTP/1 上把连接和排队都收成 1 才看到 503。换到 gRPC,连接数往往几乎不触发。
pilot 用 > 0 才覆盖默认值,区分不了没写和写 0。maxConnections: 0、http2MaxRequests: 0 仍是 2^32-1,maxEjectionPercent: 0 仍是 10%。要收紧就写正整数。各 worker 共享阈值,最终一致,瞬时可能略超。
不写 outlierDetection,pilot 不配异常点检测。写成空对象才启用,未写字段走 Envoy 默认:连续 5 次、间隔 10s、基础 30s、比例 10%。同时 enforcing_success_rate 被置 0,恐慌阈值设成 minHealthPercent(默认 0)。
连续计数按 host。别的实例成功不清这个 host 的计数,这个 host 自己成功一次就归零。失败和成功交替时,错误率可以很高,连续 5 次攒不满。4xx 和包在 HTTP 200 里的业务错误不计数。gRPC 看 grpc-status 映射后的 HTTP 状态,不看 body。
凑满之后还有比例。当前 Envoy 把即将摘除的这一个也算进去:100 * (已摘数 + 1) / host 数 <= max_ejection_percent 才摘,否则只增加 outlier_detection.ejections_overflow。默认 10% 时,host 不到 10 个,第一个都摘不了。4 个实例的第一摘是 25%,9 个是 11%,10 个才能摘 1 个,第 2 个是 20% 会被挡住。always_eject_one_host 默认关闭,DestinationRule 没有这个字段。N 个副本至少摘 1 个,比例下限约是 ceil(100/N):2 副本至少 50,4 副本至少 25。以网格里的 Envoy 和 ejections_overflow 为准。
失败率不要按文档默认 85 当成已生效。Istio 1.27 不下发失败率。当前 master 在写了 failurePercentageThreshold 时把 enforcingFailurePercentage 设为 100,成功率先仍关闭。即便下发了,Envoy 默认还要至少 5 个 host、每个 host 在一个 interval 内至少 50 个请求,DestinationRule 改不了这两个下限。副本不到 5 不会跑。以 config_dump 里的 enforcingFailurePercentage 为准。
恐慌阈值 0 关掉了 Envoy 原生 50% 的恐慌模式,避免健康比例一低就把流量打回所有不健康实例;比例留下的坏实例仍会接流量。主动健康检查成功默认会解除摘除并清计数。就绪探针和 CLB 健康检查不读这套计数。Istio 默认开 locality 负载均衡,配了 outlier detection 后还会拿摘除状态做跨可用区转移。不想打出可用区,就写 localityLbSetting.enabled: false。
200 不是推荐值。调用方扩到 30、下游只能承受 6000 在途,每个 sidecar 就只能写 200。maxEjectionPercent: 50 对 4 个 host 最多摘 2 个(25%、50% 能过,75% 不能)。默认 10 一个都摘不了。
apiVersion: networking.istio.io/v1
kind: DestinationRule
metadata:
name: pay
namespace: prod
spec:
host: pay.prod.svc.cluster.local
trafficPolicy:
loadBalancer:
localityLbSetting:
enabled: false
connectionPool:
tcp:
maxConnections: 200
http:
http2MaxRequests: 200
http1MaxPendingRequests: 50
maxRetries: 20
outlierDetection:
consecutive5xxErrors: 5
interval: 10s
baseEjectionTime: 30s
maxEjectionPercent: 50
minHealthPercent: 0CRD 没有 networking.istio.io/v1 时改成 networking.istio.io/v1beta1。host 用全名,短名按规则所在命名空间解析,不按服务实际命名空间。
maxRetries 只限制这个 sidecar 上同时处于重试中的请求数。Istio 默认 2^32-1。配了 retryBudget 时预算覆盖这个静态上限。VirtualService 若对 5xx 重试,UO 是 503,会被再送一次,重试放大要另收。实际摘除时间是 baseEjectionTime 乘以连续被摘次数;不写封顶时,Envoy 取 300s 和基础时间里较大的那个,基础时间写成 15m,封顶也至少 15m。
先确认下发的是 cluster 级阈值,而不是每 host 一份:
istioctl proxy-config cluster deploy/order -n prod -o json \
| jq '.[] | select(.name=="outbound|8080||pay.prod.svc.cluster.local")
| {circuitBreakers, outlierDetection, panic: .commonLbConfig.healthyPanicThreshold}'thresholds 里应是 200 和 50,不是 4294967295。consecutive5xx 为 5,maxEjectionPercent 为 50,enforcingSuccessRate 为 0,healthyPanicThreshold 为 0。enforcingFailurePercentage 缺失或为 0,就不会按错误率摘。cluster 名用 Service 端口,Service 是 80、容器是 8080 时名字是 outbound|80||...。
没有 istioctl 时读 sidecar 的 admin stats:
kubectl exec deploy/order -n prod -c istio-proxy -- \
pilot-agent request GET stats \
| grep 'outbound|8080||pay.prod.svc.cluster.local'upstream_rq_active_overflow 是在途超限,upstream_rq_pending_overflow 是排队超限,upstream_cx_overflow 是连接超限。outlier_detection.ejections_enforced_consecutive_5xx 是真正摘掉的次数,ejections_overflow 是被比例拒绝的摘除,ejections_active 是仍在摘除中的 host 数。并发抬过单 sidecar 阈值,在途溢出应增加,访问日志是 UO,这些请求不应出现在下游日志。一个实例稳定 500 时 enforced 应增加;只有 ejections_overflow 在涨,是比例卡住了。摘光时标志变成 UH。UO 一直为 0、下游 500 还在涨,把 http2MaxRequests 再调小修不了错误率。
http2MaxRequests 和 maxConnections。扩容会放大总预算。写 0 不会收紧。connectionPool。副本不到 10 时,默认 10% 一个实例都摘不掉。失败率以 enforcingFailurePercentage 为准,副本不到 5 即使下发了也不会跑。UO / UH 和 overflow、ejections 计数。CLB 健康检查、就绪探针和 sidecar 摘除是三套状态。原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。