首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AI智能应用开发:从模型调用到可交付系统的工程化路径

AI智能应用开发:从模型调用到可交付系统的工程化路径

原创
作者头像
资源大佬 jzit-top
发布于 2026-11-20 16:36:44
发布于 2026-11-20 16:36:44
300
举报

一、定位:调API不是应用开发

“AI智能应用开发”最常见的误区,是把接入一个大模型API当作产品完成。真实的生产系统要回答四个问题:知识从哪来(数据)、错了怎么发现(评估)、慢和贵怎么控(性能成本)、行为怎么约束(安全与可控)。这四个问题没有一个能靠提示词解决,它们分别对应检索、评估、推理优化与编排四套工程设施。

因此专业定位是:模型是系统中的一个组件,应用开发的本质是把不确定的模型输出包装成确定的产品行为。

二、五层架构

数据层:文档解析、分块、向量化、索引,以及元数据过滤。企业应用的知识源通常异构(PDF、表格、工单、数据库),解析质量直接决定上限。

模型层:基座模型选型、微调(LoRA)、推理服务化。多数场景不需要微调,检索与编排的收益远大于微调。

编排层:RAG管道、Agent工具调用、多步推理、状态管理。这是应用逻辑的真正载体。

应用层:API网关、流式响应、会话管理、权限与审计。

评估层:离线评测集、在线反馈、回归测试。没有评估层的AI应用无法迭代。

三、三个工程难点

幻觉控制。不能靠“请勿编造”这种提示词。工程手段是:检索结果必须带来源、生成时强制引用、无检索命中时降级为“不知道”、输出做结构化校验。

上下文工程。上下文窗口再大也不该全塞进去。需要做相关性重排、按token预算裁剪、把历史对话摘要化,否则延迟与成本线性膨胀、注意力被稀释。

成本与延迟。生产系统要区分快慢路径:简单意图走小模型或缓存,复杂任务才走大模型+多步。流式输出掩盖首字延迟,语义缓存命中可省掉大部分重复调用。

四、代码实现

(1)RAG检索管道:混合检索 + 重排

代码语言:javascript
复制
import numpy as np
from dataclasses import dataclass

@dataclass
class Chunk:
    id: str; text: str; source: str; score: float = 0.0

def hybrid_retrieve(query, bm25_idx, vector_idx, embed_fn,
                    top_k=20, rerank_k=6, alpha=0.5):
    """BM25关键词召回 + 向量召回,加权融合后再重排"""
    bm25_hits = {h.id: h for h in bm25_idx.search(query, top_k)}
    qv = embed_fn(query)
    vec_hits = {h.id: h for h in vector_idx.search(qv, top_k)}

    # 归一化后线性融合
    def norm(hits):
        if not hits: return {}
        vals = np.array([h.score for h in hits.values()])
        lo, hi = vals.min(), vals.max()
        rng = hi - lo if hi > lo else 1.0
        return {k: (h.score - lo) / rng for k, h in hits.items()}

    nb, nv = norm(bm25_hits), norm(vec_hits)
    merged = {}
    for k in set(nb) | set(nv):
        c = bm25_hits.get(k) or vec_hits[k]
        merged[k] = Chunk(c.id, c.text, c.source,
                          alpha * nv.get(k, 0) + (1 - alpha) * nb.get(k, 0))
    # 重排:生产环境替换为 cross-encoder 打分
    ranked = sorted(merged.values(), key=lambda c: c.score, reverse=True)
    return ranked[:rerank_k]

(2)结构化输出校验:把“模型可能胡说”变成“可拦截的错误”

代码语言:javascript
复制
from pydantic import BaseModel, Field, ValidationError

class Answer(BaseModel):
    conclusion: str = Field(min_length=1, max_length=500)
    citations: list[str] = Field(min_length=1)      # 必须引用来源
    confidence: float = Field(ge=0.0, le=1.0)

def generate_checked(query, chunks, llm):
    ctx = "\n".join(f"[{c.id}] {c.text}" for c in chunks)
    raw = llm.complete(
        f"仅依据以下资料回答,必须给出来源编号:\n{ctx}\n\n问题:{query}",
        response_format={"type": "json_object"})
    try:
        ans = Answer.model_validate_json(raw)
    except ValidationError:
        return {"answer": "无法确认,请转人工", "fallback": True}
    # 引用的来源必须真实存在于检索结果中
    valid = {c.id for c in chunks}
    if not set(ans.citations) <= valid:
        return {"answer": "来源校验失败", "fallback": True}
    return {"answer": ans.conclusion, "citations": ans.citations,
            "fallback": False}

(3)Agent工具调用循环:带步数与超时约束

代码语言:javascript
复制
import json, time

def run_agent(user_msg, tools, llm, max_steps=6, timeout_s=30):
    msgs = [{"role": "user", "content": user_msg}]
    t0 = time.time()
    for step in range(max_steps):
        if time.time() - t0 > timeout_s:
            return {"error": "timeout", "steps": step}
        resp = llm.chat(msgs, tools=tools.schemas(), temperature=0)
        if not resp.tool_calls:
            return {"answer": resp.content, "steps": step + 1}
        msgs.append(resp.as_message())
        for call in resp.tool_calls:
            try:
                result = tools.execute(call.name, json.loads(call.arguments))
            except Exception as e:
                result = {"error": str(e)}          # 错误回灌给模型自修复
            msgs.append({"role": "tool", "tool_call_id": call.id,
                         "content": json.dumps(result, ensure_ascii=False)})
    return {"error": "max_steps_exceeded", "steps": max_steps}

(4)评估回归:AI应用的质量门槛

代码语言:javascript
复制
def evaluate(pipeline, cases, judges):
    """cases: [{query, expected_keywords, must_cite}]"""
    report = {"total": len(cases), "hit": 0, "cite_ok": 0, "fallback": 0}
    for c in cases:
        r = pipeline(c["query"])
        if r.get("fallback"):
            report["fallback"] += 1; continue
        if any(k in r["answer"] for k in c["expected_keywords"]):
            report["hit"] += 1
        if c.get("must_cite") and r.get("citations"):
            report["cite_ok"] += 1
    n = report["total"]
    report["hit_rate"] = round(report["hit"] / n, 3)
    report["cite_rate"] = round(report["cite_ok"] / n, 3)
    report["fallback_rate"] = round(report["fallback"] / n, 3)
    return report        # 命中率、引用率、降级率三项同时达标才可上线

(5)语义缓存:压低重复调用成本

代码语言:javascript
复制
def semantic_cache_lookup(query, cache, embed_fn, threshold=0.92):
    qv = embed_fn(query)
    best, best_sim = None, 0.0
    for key_vec, resp in cache.items():
        sim = float(np.dot(qv, key_vec) / (np.linalg.norm(qv) * np.linalg.norm(key_vec) + 1e-9))
        if sim > best_sim:
            best, best_sim = resp, sim
    return best if best_sim >= threshold else None

五、验收指标

五项硬指标:检索命中率(评测集Top-6召回>85%)、引用合规率(有来源的答案占比>95%)、降级正确率(无依据时应降级而未编造,>98%)、P95首字延迟(流式输出<1.5s)、单请求成本(缓存与路由后较基线下降>40%)。前三项决定“敢不敢用”,后两项决定“用不用得起”。

结语

AI智能应用开发的工程核心,是用检索约束知识来源、用结构化校验约束输出、用编排与缓存约束成本、用评估集约束迭代方向。模型能力决定天花板,这四套设施决定地板。地板不牢,Demo永远只是Demo。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、定位:调API不是应用开发
    • 二、五层架构
    • 三、三个工程难点
    • 四、代码实现
    • 五、验收指标
    • 结语
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档