故障日志里已经有 TraceID,应用性能监控(APM)也打开了「保存错误链路」,搜索却是空的。腾讯云 APM 的尾部采样只处理已经上报的数据。入口头采样、Java 探针流控和熔断发生在上报之前,服务端开关补不回来。没命中采样率、靠错误或慢调用规则留下的链路,还要大约 10 分钟才落库。
APM 的采样在服务端做。全局采样率决定普通链路要不要持久化,有效范围 10% 到 100%,修改即时生效,不用重启。低于 100% 时,没命中的链路不会实时保存。
没命中的还会再看「保存错误链路」、慢调用阈值和全采样接口。文档建议慢调用阈值放在 500ms 到 2000ms,定得越低,留下的越多,存储也越多。全采样接口支持精确、前缀和后缀匹配;只指定应用、不填接口时,经过该应用的链路都会保留。靠这三道规则留下的链路,大约 10 分钟后才落库。采样率已经命中的,不要用这 10 分钟解释缺失。
尾部采样能保住指标,是因为丢弃发生在服务端看到全量上报之后。按量付费下,开采样降的是链路存储费用,文档写的上限是 90%,上报费用不降。套餐包把采样率固定在 10%,常见问题写明仍保留全部异常链路,并且不影响指标准确性。这个 10% 是服务端比例,不是让 SDK 再设 0.1。
头采样做不到这件事。请求一进系统就决定采不采,后面的 500 和慢 SQL 改不了。文档的对比是:头采样在客户端丢,未采样的不上报;尾部采样全量上报,服务端再决定是否保存。控制台开关只覆盖后一种。
采样决定写在 W3C traceparent 的 flags 里。flags 是一个字节,采样位是最低位:为 1 表示上游允许记录,为 0 表示没有。其他位也可能被置上,不要用字符串等于 01 判断,只做最低位的按位与。
遵循环境变量规范的实现,OTEL_TRACES_SAMPLER 默认是 parentbased_always_on。traceidratio 和 parentbased_traceidratio 的参数是 0 到 1 的概率,不设置时默认 1.0,不是 0.1。Go SDK 默认也是 ParentBased(AlwaysSample)。官方生产建议改成 ParentBased(TraceIDRatioBased),接到 APM 时会和尾部采样冲突。
ParentBased 默认服从父级:父级采样则子级采样,父级未采样则子级不采样,没有父级才用根采样器。网关把参数设成 0.1,下游保持默认,经过网关的请求大约只有一成能到 APM。直连下游、没有父级标记的调用仍走下游自己的根采样器,默认全量。下游改成 always_on 且不看父级,会出现只有下游 Span、没有入口 Span 的断链。
上报到 APM 的进程保持全量,比例只留在控制台:
# 默认已是 parentbased_always_on。发布系统若注入过比例采样,这里显式盖掉。
export OTEL_TRACES_SAMPLER=parentbased_always_on
unset OTEL_TRACES_SAMPLER_ARG增强版 Java 探针的接入文档没有单列采样器。不能从文档推出它会强制全量,也不能推出它会忽略上述环境变量,上线前看进程环境。
腾讯云增强版 Java 探针还有两道文档写明的丢弃,尾部采样补不回来。
流控默认每秒最多创建 5000 个 Span,超出的不创建;发送队列长度 10240,排不下就丢;每批最多上报 2048 个。按每个请求 10 个 Span 估算,大约 500 QPS 就会顶到创建上限。这道限制不看是不是错误 Span,不能当成错链路保护。队列环境变量 OTEL_BSP_MAX_QUEUE_SIZE 在探针文档里的默认是 10240,不要拿开源 BatchSpanProcessor 规范里的 2048 对账。文档要求尽量保持默认:调高增加探针开销,调低丢得更多。
# 1 号进程不是应用时,把 1 换成 Java 进程的 PID
tr '\0' '\n' < /proc/1/environ | grep -E '^(OTEL_TRACES_SAMPLER|OTEL_TRACES_SAMPLER_ARG|MAX_SPAN_PER_SECOND|OTEL_BSP_MAX_QUEUE_SIZE|DISABLE_REPORTING_ON_|RECOVER_REPORTING_ON_)='熔断看堆内存利用率和 JVM CPU 利用率,不是容器的 memory.available。内存利用率是已用堆除以最大堆;CPU 利用率是统计周期内 JVM 的 CPU 时间,除以周期长度与核数的乘积。堆顶满、容器限额还没用完时,业务没有 OOM,探针也可以停报。
文档表格按版本分了行为,中间有一段没列出,不要自己补。降回恢复阈值后会重新上报,不是一直停。
探针版本 | 上报行为 |
|---|---|
2.3-20241031 之前 | 内存 65% 或 CPU 80% 起随机丢 50% 链路数据;内存 75% 或 CPU 90% 关闭上报 |
2.3-20241031 至 2.11-20250704 | 不再随机丢一半;内存或 CPU 到 90% 关闭上报,降到 85% 及以下恢复 |
2.11-20250704 至 2.11-20250825 | 表格未覆盖,以探针说明为准 |
2.11-20250825 至 2.11-20260228 | 到 90% 关闭上报,降到 90% 以下恢复,阈值在控制台改 |
2.11-20260228 及以后 | 熔断默认关闭 |
旧版本那 50% 是随机丢链路数据,不保证整条 Trace 一起丢或一起留。2.11-20250825 及以后,在「系统配置 > 应用配置 > 探针配置」把阈值设为 100 即关闭对应熔断。更早版本用 -Ddisable.reporting.on.memory.percentage=100 和 -Ddisable.reporting.on.cpu.percentage=100,环境变量是 DISABLE_REPORTING_ON_MEMORY_PERCENTAGE、DISABLE_REPORTING_ON_CPU_PERCENTAGE。旧参数把触发阈值设为 0 或 100 都会禁用。升到 2.11-20260228 只是默认关掉熔断,每秒 5000 Span 的流控还在。
Collector 里如果开了 tail_sampling,APM 只能看到放行的 Span,控制台补不回已经丢掉的数据。要降上报费用就在这里丢;要让 APM 的尾部采样和指标生效,这里就原样转发。两件事不能同时要。
tailsamplingprocessor 目前是 beta,只在 contrib 和 k8s 发行包里,核心 otelcol 没有。同一条 Trace 的全部 Span 必须进同一个实例,否则按连接打散后,每个实例都看不到错误,于是都丢。扩容要按 TraceID 路由,字段以所用版本的 loadbalancing exporter 文档为准。decision_wait 默认 30 秒,num_traces 默认 50000,block_on_overflow 默认 false:缓存满时驱逐最老的 Trace。慢链路超过等待窗口还没到齐,决策用的是残缺 Span。
status_code 看的是 Span 状态 ERROR、OK、UNSET,不是 HTTP 状态码。只把 500 写进属性、状态仍是 UNSET 时,下面的策略不会留。出现 drop 则不采样;否则有一条 sample 就采样;都没有则不采样。只配错误策略,成功链路全部丢掉。这是自建尾采样的语义,不是 APM「采样率之外额外留错慢」。后端是 APM 且要靠它算指标时,不要加这个处理器。
processors:
tail_sampling:
decision_wait: 30s
num_traces: 50000
policies:
[
{
name: keep-errors,
type: status_code,
status_code: {status_codes: [ERROR]}
}
]没上报、上报了还没落库、规则本来就不会留,处理不一样。
进程里是 parentbased_traceidratio 或 traceidratio,并且 OTEL_TRACES_SAMPLER_ARG 小于 1,或者代码用了 TraceIDRatioBased,先改回全量。入站 traceparent 采样位是 0,说明上游已经决定不记录。
python3 - <<'PY'
header = "00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-00"
flags = int(header.rsplit("-", 1)[-1], 16)
print("sampled" if flags & 0x01 else "not-sampled")
PY把末尾的 00 换成线上 flags 再跑。输出 not-sampled 就不要在本服务里找 APM 采样率。
Java 再对探针版本和当时的堆利用率、JVM CPU。落在熔断仍默认开启的区间且越过上表阈值,或 Span 创建超过每秒 5000,缺失是探针丢弃。自动埋点没覆盖的框架也会断链:日志有 TraceID,APM 只有半条,和采样率无关。
控制台路径是应用性能监控 > 系统配置 > 采样配置。核对采样率、保存错误链路、慢调用阈值、全采样接口。靠错误或慢调用规则留下的,等大约 10 分钟再查。阈值 2000ms 时,耗时 800ms 且没有错误状态的请求只能指望采样率命中。用日志里的 TraceID 去搜。延迟过后仍没有这条 ID,是上报前丢失;有 ID 但 Span 不全,再查下游头采样或 Collector 是否把同一条 Trace 打散。
parentbased_always_on,网关不要单独设比例采样。原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。