FDE(Forward Deployed Engineer)不是"驻场技术支持"的升级版。客户环境里没有标准机房、没有干净的 CUDA 版本、没有可信的运维,FDE 的职责是把产品在客户真实硬件上跑稳,并把不确定性逐层挤干净。集训营的四个模块——环境勘察、硬件适配、分层排错、验收交付——本质是一条把"能跑"变成"敢签收"的流水线。
不要信客户口头说的"我们有 8 卡 A100"。现场第一件事是落一份机器可读的硬件事实清单,作为后续所有适配与验收的比对基线。
# survey.py —— 硬件事实基线采集
import subprocess, json, csv
def sh(cmd):
try:
return subprocess.check_output(cmd, shell=True, text=True,
stderr=subprocess.DEVNULL).strip()
except subprocess.CalledProcessError:
return ""
def gpu_facts():
out = sh("nvidia-smi --query-gpu=index,name,memory.total,driver_version,"
"compute_cap,pcie.link.gen.current,pcie.link.width.current,temperature.gpu "
"--format=csv,noheader,nounits")
rows = []
for line in out.splitlines():
i, name, mem, drv, cc, gen, width, temp = [x.strip() for x in line.split(",")]
rows.append(dict(idx=int(i), name=name, mem_mb=int(mem), driver=drv,
cc=cc, pcie=f"gen{gen}x{width}", temp_c=int(temp)))
return rows
def baseline():
return {
"host": sh("hostname"),
"kernel": sh("uname -r"),
"gpus": gpu_facts(),
"cuda_driver": sh("nvidia-smi --query-gpu=driver_version --format=csv,noheader")[:1],
"torch_cuda": sh("python -c 'import torch;print(torch.version.cuda)'"),
"nccl": sh("python -c 'import torch;print(torch.cuda.nccl.version())'"),
"mem_gb": round(int(sh("grep MemTotal /proc/meminfo").split()[1]) / 1e6, 1),
"disk_free_gb": sh("df -BG --output=avail / | tail -1").replace("G", ""),
"gpu_topo": sh("nvidia-smi topo -m"),
}
if __name__ == "__main__":
print(json.dumps(baseline(), ensure_ascii=False, indent=2))这份基线要存两份:进场一份、验收一份,差异即事故线索。
第一笔:版本矩阵。 驱动、CUDA、PyTorch、NCCL、推理框架五者的版本是强耦合的,现场升级驱动是常态,必须先校验再装。
# compat.py —— 兼容性矩阵校验
MATRIX = [ # (min_driver, max_driver, cuda, torch, nccl)
("535.54", "550.99", "12.1", "2.1-2.3", "2.19-2.21"),
("550.54", "560.99", "12.4", "2.4-2.6", "2.21-2.23"),
]
def check(driver, cuda, torch, nccl):
def v(s): return tuple(int(x) for x in s.split(".")[:2])
for lo, hi, c, t, n in MATRIX:
if v(lo) <= v(driver) <= v(hi):
return (cuda.startswith(c) and
any(torch.startswith(t.split("-")[0]) for _ in [0]) and
v(n.split("-")[0]) <= v(nccl) <= v(n.split("-")[1]))
return False第二笔:显存预算。 客户常拿"参数量"当唯一指标,实际 OOM 多半死在 KV Cache 和碎片上。
def vram_budget(params_b, dtype_bytes, layers, kv_heads, head_dim,
seq_len, batch, gpu_cnt=1):
weights = params_b * 1e9 * dtype_bytes / 1e9 # GB
kv = 2 * layers * kv_heads * head_dim * seq_len * batch * 2 / 1e9
overhead = 0.10 * (weights + kv) # 碎片+框架开销
need = (weights + kv + overhead) / gpu_cnt
return dict(weights=round(weights,1), kv_cache=round(kv,1),
total_per_gpu=round(need,1))
# 例:7B FP16、32 层、GQA 8 头、head_dim 128、4K 上下文、batch 8
# → 权重 14G + KV 8G ≈ 24G/卡,单卡 24G 卡即临界,必须量化或分卡第三笔:量化选型。 AWQ/GPTQ 4bit 显存降 60%+,但精度损失要在客户业务数据上实测,不能拿通用 benchmark 交差。
FDE 最大的风险是"凭感觉排错"。正确做法是把故障切成六层,逐层用脚本判定,禁止越层归因。
# triage.py —— 六层健康检查
import subprocess, torch
CHECKS = [
("L1_物理", lambda: subprocess.run(
["nvidia-smi", "-q"], capture_output=True).returncode == 0),
("L2_ECC", lambda: "No" not in subprocess.check_output(
["nvidia-smi", "-q", "-d", "ECC"], text=True)),
("L3_驱动", lambda: torch.cuda.is_available()),
("L4_通信", lambda: _nccl_allreduce_ok()), # 多卡 allreduce 自测
("L5_框架", lambda: _run_tiny_infer()), # 最小推理冒烟
("L6_应用", lambda: _run_acceptance_subset()), # 业务子集回放
]
def triage():
fails = []
for name, fn in CHECKS:
try:
ok = bool(fn())
except Exception as e:
ok = False; name = f"{name}({type(e).__name__})"
print(f"[{'PASS' if ok else 'FAIL'}] {name}")
if not ok:
fails.append(name); break # 逐层阻断,不越层
return fails铁律:下层未 PASS 不许排查上层。多卡 hang 死先查 NCCL 与 PCIe 拓扑(NVLink 缺失、跨 NUMA),而不是改推理参数。
验收不是"跑通 demo",是拿压测报告、性能基线、回滚方案三件套签收。压测必须固定随机种子、固定输入长度分布,否则数字不可复现。
# acceptance.py
import time, statistics, json
def bench(engine, prompts, warmup=10):
for p in prompts[:warmup]: engine.generate(p)
lat, tok = [], 0
for p in prompts:
t0 = time.perf_counter(); n = engine.generate(p)
lat.append((time.perf_counter() - t0) * 1000); tok += n
lat.sort()
return dict(p50_ms=round(statistics.median(lat), 1),
p99_ms=round(lat[int(len(lat)*.99)], 1),
tps=round(tok / (sum(lat)/1000), 1))
ACCEPT = dict(p99_ms_max=800, tps_min=25, err_rate_max=0.005)
def sign(report):
ok = (report["p99_ms"] <= ACCEPT["p99_ms_max"]
and report["tps"] >= ACCEPT["tps_min"])
print(json.dumps({**report, **ACCEPT, "verdict": "SIGN" if ok else "REJECT"},
ensure_ascii=False))
return ok回滚方案同样是验收项:旧镜像、旧模型权重、旧驱动三者必须可一键还原,且经过一次演练。
考核不看 PPT,看三样交付物:一份环境基线 diff、一份六层排错记录、一份带签名的验收报告。现场故障注入是核心环节——故意拔卡、降驱动、制造 NCCL 超时,要求 FDE 在 30 分钟内定位到层,并给出可回滚的修复方案。
FDE 的专业性不体现在"什么都懂",而体现在方法可复现、证据可追溯、结论可签收。集训营练的就是这套把现场混乱收敛成确定性交付的肌肉记忆。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。