聊天与决策的差别,不在回答长短,而在输出是否进入执行链路。聊天输出的是给人看的文本,错了最多误导;决策输出的是要被执行的动作,错了会产生真实代价。这条分界线带来四个硬性变化:输出必须结构化可解析、动作必须合法可执行、结果必须可观测可回滚、好坏必须可评估可迭代。
一个模型能流畅回答"如何优化库存",不等于它能把优化动作下发到仓储系统。从聊天到决策,缺的不是更强的语言能力,而是四套工程设施:动作空间定义、约束校验、执行反馈闭环、轨迹级评估。
第一层:从自由文本到结构化动作。 决策的第一要求是输出能被机器解析。让模型输出 JSON 动作对象,并用 schema 强校验,是迈出的第一步。措辞再漂亮,解析失败就等于零。
第二层:从单步回答到工具调用。 决策需要外部世界的信息与操作能力。模型通过工具调用获取实时状态、执行动作,把"知道"变成"做到"。
第三层:从单轮到状态化循环。 决策是序列问题:动作改变状态,状态影响下一步。必须维护会话外的持久状态与完整轨迹,而不是每轮重新开始。
第四层:从主观评价到轨迹评估。 聊天靠人看反馈,决策必须靠轨迹级指标(成功率、回报、违规率)离线评估加在线验证,否则无法知道改动是好是坏。
解析断点。 模型输出格式漂移是常态。必须有重试加降级机制:解析失败先自修复一次,再失败走安全默认,绝不让半结构化输出进入执行层。
约束断点。 合法动作空间靠提示词约束不可靠,必须外置确定性校验器。模型负责"提议",校验器负责"否决"。
反馈断点。 没有执行结果回灌,模型无法纠错。每次执行都要把结果(成功/失败/异常)结构化写回上下文,形成闭环。
(1)动作 Schema 与解析防线
from pydantic import BaseModel, ValidationError, Field
from typing import Literal
class Action(BaseModel):
kind: Literal["query_stock", "create_order", "adjust_price", "escalate"]
target: str = Field(min_length=1)
params: dict = Field(default_factory=dict)
reason: str = Field(min_length=3)
def parse_action(raw: str, llm, retry_prompt: str = None):
"""解析失败 → 自修复一次 → 再失败返回 None(安全默认)"""
try:
return Action.model_validate_json(raw), None
except ValidationError as e:
fixed = llm.complete(
f"以下输出不符合schema,请仅修正格式并重新输出JSON:\n{raw}\n错误:{e}")
try:
return Action.model_validate_json(fixed), None
except ValidationError:
return None, f"解析失败,已降级: {e}"(2)决策循环:状态、工具、反馈闭环
from dataclasses import dataclass, field
@dataclass
class DecisionState:
goal: str
history: list = field(default_factory=list) # 完整轨迹
metrics: dict = field(default_factory=dict)
def decide_loop(state: DecisionState, llm, tools, validator,
max_steps=6, max_cost=100.0):
spent = 0.0
for step in range(max_steps):
ctx = render_context(state) # 状态 + 轨迹摘要
raw = llm.complete(ctx, response_format="json")
act, err = parse_action(raw, llm)
if act is None:
state.history.append({"step": step, "error": err}); break
ok, why = validator.check(act, spent) # 硬约束:合法性 + 预算
if not ok:
state.history.append({"step": step, "action": act.model_dump(),
"rejected": why})
state.metrics.setdefault("rejected", 0)
state.metrics["rejected"] += 1
continue
# 执行并把结果结构化回灌,形成反馈闭环
result = tools.execute(act.kind, act.target, act.params)
spent += result.get("cost", 0.0)
state.history.append({"step": step, "action": act.model_dump(),
"result": result})
if result.get("done"):
return state, {"status": "done", "steps": step + 1, "spent": spent}
if spent > max_cost:
return state, {"status": "over_budget", "spent": spent}
return state, {"status": "max_steps", "steps": max_steps}(3)状态持久化:跨轮决策不丢上下文
import json, os
def save_state(state: DecisionState, path: str):
tmp = path + ".tmp"
json.dump({"goal": state.goal, "history": state.history,
"metrics": state.metrics}, open(tmp, "w"), ensure_ascii=False)
os.replace(tmp, path) # 原子写,防执行中途崩溃损坏状态
def load_state(path: str) -> DecisionState:
if not os.path.exists(path):
return None
d = json.load(open(path))
return DecisionState(d["goal"], d["history"], d["metrics"])(4)轨迹级评估:看过程,不只看最终答案
def evaluate_trajectory(state, outcome):
h = state.history
executed = [s for s in h if "result" in s]
rejected = [s for s in h if "rejected" in s]
errors = [s for s in h if "error" in s]
return {
"success": outcome["status"] == "done",
"steps": len(executed),
"rejection_rate": round(len(rejected) / max(len(h), 1), 3),
"parse_failures": len(errors),
"cost": outcome.get("spent", 0.0),
"efficiency": round(len(executed) / max(len(h), 1), 3), # 有效动作占比
}评估必须覆盖过程质量:拒绝率过高说明约束过严或模型不懂规则,解析失败多说明输出稳定性不足,有效动作占比低说明在无效试探。只看最终成功与否,会掩盖这些问题。
五项硬指标:动作解析成功率(>99%)、约束违规执行数(进入执行层=0)、任务完成率(评测集上达成目标>80%)、平均有效步数(完成任务的执行动作数≤基线×1.2)、轨迹可追溯率(任一执行动作可回溯到上下文与候选=100%)。前两项决定"能不能安全地执行",中间两项决定"决策是否高效",最后一项决定"出问题能不能定位"。
让 AI 从会聊天到能决策,核心不是换更大的模型,而是补上动作空间、约束校验、反馈闭环、轨迹评估这四套设施。聊天能力决定它能理解多复杂的问题,这四套设施决定它的回答能不能被执行、执行错了能不能兜住。前者是天花板,后者是地板——地板不牢,再聪明的 AI 也只能停在"建议"二字。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。