首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >让 AI 从会聊天到能决策:能力跃迁的四个工程断点

让 AI 从会聊天到能决策:能力跃迁的四个工程断点

原创
作者头像
IT大佬 jzit-top
发布于 2026-11-20 19:15:51
发布于 2026-11-20 19:15:51
60
举报

一、分界线在哪

聊天与决策的差别,不在回答长短,而在输出是否进入执行链路。聊天输出的是给人看的文本,错了最多误导;决策输出的是要被执行的动作,错了会产生真实代价。这条分界线带来四个硬性变化:输出必须结构化可解析、动作必须合法可执行、结果必须可观测可回滚、好坏必须可评估可迭代。

一个模型能流畅回答"如何优化库存",不等于它能把优化动作下发到仓储系统。从聊天到决策,缺的不是更强的语言能力,而是四套工程设施:动作空间定义、约束校验、执行反馈闭环、轨迹级评估。

二、四层能力跃迁

第一层:从自由文本到结构化动作。 决策的第一要求是输出能被机器解析。让模型输出 JSON 动作对象,并用 schema 强校验,是迈出的第一步。措辞再漂亮,解析失败就等于零。

第二层:从单步回答到工具调用。 决策需要外部世界的信息与操作能力。模型通过工具调用获取实时状态、执行动作,把"知道"变成"做到"。

第三层:从单轮到状态化循环。 决策是序列问题:动作改变状态,状态影响下一步。必须维护会话外的持久状态与完整轨迹,而不是每轮重新开始。

第四层:从主观评价到轨迹评估。 聊天靠人看反馈,决策必须靠轨迹级指标(成功率、回报、违规率)离线评估加在线验证,否则无法知道改动是好是坏。

三、三个工程断点

解析断点。 模型输出格式漂移是常态。必须有重试加降级机制:解析失败先自修复一次,再失败走安全默认,绝不让半结构化输出进入执行层。

约束断点。 合法动作空间靠提示词约束不可靠,必须外置确定性校验器。模型负责"提议",校验器负责"否决"。

反馈断点。 没有执行结果回灌,模型无法纠错。每次执行都要把结果(成功/失败/异常)结构化写回上下文,形成闭环。

四、代码实现

(1)动作 Schema 与解析防线

代码语言:javascript
复制
from pydantic import BaseModel, ValidationError, Field
from typing import Literal

class Action(BaseModel):
    kind: Literal["query_stock", "create_order", "adjust_price", "escalate"]
    target: str = Field(min_length=1)
    params: dict = Field(default_factory=dict)
    reason: str = Field(min_length=3)

def parse_action(raw: str, llm, retry_prompt: str = None):
    """解析失败 → 自修复一次 → 再失败返回 None(安全默认)"""
    try:
        return Action.model_validate_json(raw), None
    except ValidationError as e:
        fixed = llm.complete(
            f"以下输出不符合schema,请仅修正格式并重新输出JSON:\n{raw}\n错误:{e}")
        try:
            return Action.model_validate_json(fixed), None
        except ValidationError:
            return None, f"解析失败,已降级: {e}"

(2)决策循环:状态、工具、反馈闭环

代码语言:javascript
复制
from dataclasses import dataclass, field

@dataclass
class DecisionState:
    goal: str
    history: list = field(default_factory=list)   # 完整轨迹
    metrics: dict = field(default_factory=dict)

def decide_loop(state: DecisionState, llm, tools, validator,
                max_steps=6, max_cost=100.0):
    spent = 0.0
    for step in range(max_steps):
        ctx = render_context(state)                # 状态 + 轨迹摘要
        raw = llm.complete(ctx, response_format="json")
        act, err = parse_action(raw, llm)
        if act is None:
            state.history.append({"step": step, "error": err}); break

        ok, why = validator.check(act, spent)      # 硬约束:合法性 + 预算
        if not ok:
            state.history.append({"step": step, "action": act.model_dump(),
                                  "rejected": why})
            state.metrics.setdefault("rejected", 0)
            state.metrics["rejected"] += 1
            continue

        # 执行并把结果结构化回灌,形成反馈闭环
        result = tools.execute(act.kind, act.target, act.params)
        spent += result.get("cost", 0.0)
        state.history.append({"step": step, "action": act.model_dump(),
                              "result": result})
        if result.get("done"):
            return state, {"status": "done", "steps": step + 1, "spent": spent}
        if spent > max_cost:
            return state, {"status": "over_budget", "spent": spent}
    return state, {"status": "max_steps", "steps": max_steps}

(3)状态持久化:跨轮决策不丢上下文

代码语言:javascript
复制
import json, os

def save_state(state: DecisionState, path: str):
    tmp = path + ".tmp"
    json.dump({"goal": state.goal, "history": state.history,
               "metrics": state.metrics}, open(tmp, "w"), ensure_ascii=False)
    os.replace(tmp, path)          # 原子写,防执行中途崩溃损坏状态

def load_state(path: str) -> DecisionState:
    if not os.path.exists(path):
        return None
    d = json.load(open(path))
    return DecisionState(d["goal"], d["history"], d["metrics"])

(4)轨迹级评估:看过程,不只看最终答案

代码语言:javascript
复制
def evaluate_trajectory(state, outcome):
    h = state.history
    executed = [s for s in h if "result" in s]
    rejected = [s for s in h if "rejected" in s]
    errors = [s for s in h if "error" in s]
    return {
        "success": outcome["status"] == "done",
        "steps": len(executed),
        "rejection_rate": round(len(rejected) / max(len(h), 1), 3),
        "parse_failures": len(errors),
        "cost": outcome.get("spent", 0.0),
        "efficiency": round(len(executed) / max(len(h), 1), 3),  # 有效动作占比
    }

评估必须覆盖过程质量:拒绝率过高说明约束过严或模型不懂规则,解析失败多说明输出稳定性不足,有效动作占比低说明在无效试探。只看最终成功与否,会掩盖这些问题。

五、验收指标

五项硬指标:动作解析成功率(>99%)、约束违规执行数(进入执行层=0)、任务完成率(评测集上达成目标>80%)、平均有效步数(完成任务的执行动作数≤基线×1.2)、轨迹可追溯率(任一执行动作可回溯到上下文与候选=100%)。前两项决定"能不能安全地执行",中间两项决定"决策是否高效",最后一项决定"出问题能不能定位"。

结语

让 AI 从会聊天到能决策,核心不是换更大的模型,而是补上动作空间、约束校验、反馈闭环、轨迹评估这四套设施。聊天能力决定它能理解多复杂的问题,这四套设施决定它的回答能不能被执行、执行错了能不能兜住。前者是天花板,后者是地板——地板不牢,再聪明的 AI 也只能停在"建议"二字。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、分界线在哪
    • 二、四层能力跃迁
    • 三、三个工程断点
    • 四、代码实现
    • 五、验收指标
    • 结语
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档