入门项目与生产项目的差距,不在模型选型,而在系统对不确定性的承受力。入门脚本假设:数据干净、输入合法、模型总在线、结果永远有人看。生产系统必须假设:数据会脏、输入会恶意、模型会超时、结果错了要能被发现和回滚。
因此从入门到进阶,本质是逐级补齐系统短板的过程。下面用五级成熟度模型拆解,每一级对应一个可运行的工程形态,让"进阶"有明确的验收锚点。
L1 脚本级:一次运行出一份结果。能验证想法,但不可复用、不可配置、不可复现。
L2 模块级:数据、模型、评估拆成独立模块,配置外置。可以换数据集、换模型做对比实验。
L3 服务级:封装为API,有输入校验、超时、错误处理。可以被其他系统调用。
L4 可靠级:有监控、降级、限流、日志追踪。模型挂了业务不挂。
L5 生产级:有评估门禁、灰度发布、版本回滚、成本控制。每次变更都可控。
多数团队卡在 L2→L3(不会封装服务)和 L3→L4(不考虑失败)。真正的门槛是 L4。
L2→L3:输入契约。 服务化的第一件事不是写API,是定义输入合法性边界。模型对脏输入的容错通常是静默出错——不报错,但结果无意义。必须用 schema 把非法输入挡在推理之前。
L3→L4:降级设计。 生产系统的核心命题是"模型不可用时怎么办"。答案不是重试到死,而是分级降级:缓存兜底、规则兜底、明确返回"暂不可用",且每种降级都要可观测。
L4→L5:变更可控。 新模型上线前必须过评估门禁,上线必须灰度,指标异常必须自动回滚。没有这套机制,每次上线都是一次赌博。
(1)L2:配置驱动的模块化
from dataclasses import dataclass
import json
@dataclass
class Config:
model_path: str
threshold: float = 0.5
batch_size: int = 16
@classmethod
def load(cls, path: str):
return cls(**json.load(open(path)))
def predict_batch(model, texts, cfg: Config):
"""推理逻辑与配置解耦,换配置即可做对比实验"""
out = []
for i in range(0, len(texts), cfg.batch_size):
chunk = texts[i:i + cfg.batch_size]
scores = model(chunk)
out.extend((t, s, s >= cfg.threshold) for t, s in zip(chunk, scores))
return out(2)L3:带输入契约的服务
from pydantic import BaseModel, Field, field_validator
class PredictInput(BaseModel):
text: str = Field(min_length=1, max_length=2000)
request_id: str = Field(min_length=8)
@field_validator("text")
@classmethod
def no_control_chars(cls, v):
if any(ord(c) < 32 and c not in "\n\t" for c in v):
raise ValueError("含非法控制字符")
return v.strip()
def handle_predict(payload: dict, model, cfg):
try:
inp = PredictInput(**payload) # 非法输入在此被拦截
except Exception as e:
return {"error": "invalid_input", "detail": str(e)}, 400
score = model([inp.text])[0]
return {"request_id": inp.request_id, "score": float(score),
"label": int(score >= cfg.threshold)}, 200(3)L4:分级降级 + 可观测
import time, logging
from collections import deque
log = logging.getLogger("ai")
class PredictionService:
def __init__(self, model, cfg, cache, rule_fallback):
self.model, self.cfg = model, cfg
self.cache = cache # 语义/精确缓存
self.rule = rule_fallback # 规则兜底
self.latencies = deque(maxlen=1000) # 滑动窗口监控
def predict(self, text: str, request_id: str):
t0 = time.time()
# 一级:缓存
if (hit := self.cache.get(text)) is not None:
log.info("hit=cache rid=%s", request_id)
return {"score": hit, "source": "cache"}
# 二级:模型,带超时
try:
score = self._call_with_timeout(text, timeout=0.8)
self.cache.set(text, score)
src = "model"
except TimeoutError:
# 三级:规则兜底,并记录降级
score = self.rule(text)
src = "rule_fallback"
log.warning("degraded=rule rid=%s", request_id)
except Exception as e:
score = self.rule(text)
src = "rule_fallback"
log.error("model_error rid=%s err=%s", request_id, e)
self.latencies.append(time.time() - t0)
if len(self.latencies) == self.latencies.maxlen:
p95 = sorted(self.latencies)[int(0.95 * len(self.latencies))]
if p95 > 1.0:
log.warning("latency_p95=%.3fs 超阈值", p95)
return {"score": float(score), "source": src}
def _call_with_timeout(self, text, timeout):
# 生产环境用线程池或异步实现真实超时;此处示意接口
return self.model([text], timeout=timeout)[0](4)L5:评估门禁 + 灰度 + 回滚
def canary_deploy(new_svc, old_svc, eval_set, ratio=0.1,
max_error_rate=0.02, max_p95=1.0):
"""灰度阶段:小流量对比新旧版本,指标越界即回滚"""
import random
stats = {"new_ok": 0, "new_err": 0, "lat": []}
for req in eval_set[:200]:
use_new = random.random() < ratio
svc = new_svc if use_new else old_svc
try:
t0 = time.time()
svc.predict(req["text"], req["id"])
if use_new:
stats["new_ok"] += 1
stats["lat"].append(time.time() - t0)
except Exception:
if use_new:
stats["new_err"] += 1
total_new = stats["new_ok"] + stats["new_err"]
if total_new == 0:
return False, "无新版本流量,灰度无效"
err_rate = stats["new_err"] / total_new
p95 = sorted(stats["lat"])[int(0.95 * len(stats["lat"]))] if stats["lat"] else 0
if err_rate > max_error_rate:
return False, f"错误率 {err_rate:.2%} 超限,回滚"
if p95 > max_p95:
return False, f"P95 {p95:.2f}s 超限,回滚"
return True, f"灰度通过: err={err_rate:.2%}, p95={p95:.2f}s"这四段代码串起来就是一条演进路线:L2 的配置化让实验可比较,L3 的契约让调用安全,L4 的降级让系统抗故障,L5 的门禁让变更可控。每一级都在前一级基础上加一层防护,而不是推倒重来。
五级各有对应验收项:L2 配置切换后结果可对比(同配置两次跑指标偏差<1%);L3 非法输入拦截率>99%,服务P99<500ms;L4 模型故障时业务可用率>99.9%,降级可观测率100%;L5 灰度越界自动回滚成功率100%,上线后指标可回溯。前两级决定研发效率,后两级决定系统敢不敢交给用户。
从入门到生产级AI项目,核心不是把模型换得更大,而是逐级补齐输入契约、降级机制、变更门禁这三类系统能力。L1的脚本能验证想法,L5的系统才能承载业务。进阶的每一步,都是把"假设一切正常"换成"假设一切会出错,且出错能被发现、被兜住、被回滚"。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。