“AI智能应用开发”最常见的误区,是把接入一个大模型API当作产品完成。真实的生产系统要回答四个问题:知识从哪来(数据)、错了怎么发现(评估)、慢和贵怎么控(性能成本)、行为怎么约束(安全与可控)。这四个问题没有一个能靠提示词解决,它们分别对应检索、评估、推理优化与编排四套工程设施。
因此专业定位是:模型是系统中的一个组件,应用开发的本质是把不确定的模型输出包装成确定的产品行为。
数据层:文档解析、分块、向量化、索引,以及元数据过滤。企业应用的知识源通常异构(PDF、表格、工单、数据库),解析质量直接决定上限。
模型层:基座模型选型、微调(LoRA)、推理服务化。多数场景不需要微调,检索与编排的收益远大于微调。
编排层:RAG管道、Agent工具调用、多步推理、状态管理。这是应用逻辑的真正载体。
应用层:API网关、流式响应、会话管理、权限与审计。
评估层:离线评测集、在线反馈、回归测试。没有评估层的AI应用无法迭代。
幻觉控制。不能靠“请勿编造”这种提示词。工程手段是:检索结果必须带来源、生成时强制引用、无检索命中时降级为“不知道”、输出做结构化校验。
上下文工程。上下文窗口再大也不该全塞进去。需要做相关性重排、按token预算裁剪、把历史对话摘要化,否则延迟与成本线性膨胀、注意力被稀释。
成本与延迟。生产系统要区分快慢路径:简单意图走小模型或缓存,复杂任务才走大模型+多步。流式输出掩盖首字延迟,语义缓存命中可省掉大部分重复调用。
(1)RAG检索管道:混合检索 + 重排
import numpy as np
from dataclasses import dataclass
@dataclass
class Chunk:
id: str; text: str; source: str; score: float = 0.0
def hybrid_retrieve(query, bm25_idx, vector_idx, embed_fn,
top_k=20, rerank_k=6, alpha=0.5):
"""BM25关键词召回 + 向量召回,加权融合后再重排"""
bm25_hits = {h.id: h for h in bm25_idx.search(query, top_k)}
qv = embed_fn(query)
vec_hits = {h.id: h for h in vector_idx.search(qv, top_k)}
# 归一化后线性融合
def norm(hits):
if not hits: return {}
vals = np.array([h.score for h in hits.values()])
lo, hi = vals.min(), vals.max()
rng = hi - lo if hi > lo else 1.0
return {k: (h.score - lo) / rng for k, h in hits.items()}
nb, nv = norm(bm25_hits), norm(vec_hits)
merged = {}
for k in set(nb) | set(nv):
c = bm25_hits.get(k) or vec_hits[k]
merged[k] = Chunk(c.id, c.text, c.source,
alpha * nv.get(k, 0) + (1 - alpha) * nb.get(k, 0))
# 重排:生产环境替换为 cross-encoder 打分
ranked = sorted(merged.values(), key=lambda c: c.score, reverse=True)
return ranked[:rerank_k](2)结构化输出校验:把“模型可能胡说”变成“可拦截的错误”
from pydantic import BaseModel, Field, ValidationError
class Answer(BaseModel):
conclusion: str = Field(min_length=1, max_length=500)
citations: list[str] = Field(min_length=1) # 必须引用来源
confidence: float = Field(ge=0.0, le=1.0)
def generate_checked(query, chunks, llm):
ctx = "\n".join(f"[{c.id}] {c.text}" for c in chunks)
raw = llm.complete(
f"仅依据以下资料回答,必须给出来源编号:\n{ctx}\n\n问题:{query}",
response_format={"type": "json_object"})
try:
ans = Answer.model_validate_json(raw)
except ValidationError:
return {"answer": "无法确认,请转人工", "fallback": True}
# 引用的来源必须真实存在于检索结果中
valid = {c.id for c in chunks}
if not set(ans.citations) <= valid:
return {"answer": "来源校验失败", "fallback": True}
return {"answer": ans.conclusion, "citations": ans.citations,
"fallback": False}(3)Agent工具调用循环:带步数与超时约束
import json, time
def run_agent(user_msg, tools, llm, max_steps=6, timeout_s=30):
msgs = [{"role": "user", "content": user_msg}]
t0 = time.time()
for step in range(max_steps):
if time.time() - t0 > timeout_s:
return {"error": "timeout", "steps": step}
resp = llm.chat(msgs, tools=tools.schemas(), temperature=0)
if not resp.tool_calls:
return {"answer": resp.content, "steps": step + 1}
msgs.append(resp.as_message())
for call in resp.tool_calls:
try:
result = tools.execute(call.name, json.loads(call.arguments))
except Exception as e:
result = {"error": str(e)} # 错误回灌给模型自修复
msgs.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(result, ensure_ascii=False)})
return {"error": "max_steps_exceeded", "steps": max_steps}(4)评估回归:AI应用的质量门槛
def evaluate(pipeline, cases, judges):
"""cases: [{query, expected_keywords, must_cite}]"""
report = {"total": len(cases), "hit": 0, "cite_ok": 0, "fallback": 0}
for c in cases:
r = pipeline(c["query"])
if r.get("fallback"):
report["fallback"] += 1; continue
if any(k in r["answer"] for k in c["expected_keywords"]):
report["hit"] += 1
if c.get("must_cite") and r.get("citations"):
report["cite_ok"] += 1
n = report["total"]
report["hit_rate"] = round(report["hit"] / n, 3)
report["cite_rate"] = round(report["cite_ok"] / n, 3)
report["fallback_rate"] = round(report["fallback"] / n, 3)
return report # 命中率、引用率、降级率三项同时达标才可上线(5)语义缓存:压低重复调用成本
def semantic_cache_lookup(query, cache, embed_fn, threshold=0.92):
qv = embed_fn(query)
best, best_sim = None, 0.0
for key_vec, resp in cache.items():
sim = float(np.dot(qv, key_vec) / (np.linalg.norm(qv) * np.linalg.norm(key_vec) + 1e-9))
if sim > best_sim:
best, best_sim = resp, sim
return best if best_sim >= threshold else None五项硬指标:检索命中率(评测集Top-6召回>85%)、引用合规率(有来源的答案占比>95%)、降级正确率(无依据时应降级而未编造,>98%)、P95首字延迟(流式输出<1.5s)、单请求成本(缓存与路由后较基线下降>40%)。前三项决定“敢不敢用”,后两项决定“用不用得起”。
AI智能应用开发的工程核心,是用检索约束知识来源、用结构化校验约束输出、用编排与缓存约束成本、用评估集约束迭代方向。模型能力决定天花板,这四套设施决定地板。地板不牢,Demo永远只是Demo。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。