首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >JEV 决策大模型:把语义判断从文本生成中剥离

JEV 决策大模型:把语义判断从文本生成中剥离

原创
作者头像
资源大佬 jzit-top
发布于 2026-10-26 10:18:43
发布于 2026-10-26 10:18:43
170
举报

传统大语言模型在 Agent 中承担了两类性质截然不同的任务:一类是理解目标、制定计划、生成内容;另一类是工具路由、意图分类、风险分级等结构化决策。后者答案空间有限,却仍然要走完整的自回归生成链,再由代码从自由文本中解析答案。JEV 的工程意义不在于“更小的模型”,而在于把第二类任务从生成范式中彻底剥离,变成一种有界、可校准、可被代码直接消费的类型化接口。

非自回归:一次前向,并行回答全部问题

JEV 不逐 Token 解码,而是读取一次状态,对每个预先声明的问题,在固定的候选 Token 集合上直接打分。APUS 的独立复现将其核心逻辑描述为“跳过自回归解码、隐状态直接打分”,并实现了单 Token Logits 快速决策与 KV-Cache 广播的并发批量评估机制。用伪代码表达其判定流程:

代码语言:javascript
复制
def jev_decide(backbone, state: str, questions: list[Question]):
    hidden = backbone.encode(state)              # 状态只编码一次
    answers = {}
    for q in questions:
        slots = q.answer_slots()                 # 合法输出空间调用前枚举
        logits = decision_head(slots, hidden)    # 单次前向,不生成文本
        probs = softmax(logits / q.temperature)  # 按原语类型独立校准
        answers[q.id] = TypedAnswer(
            choice=q.options[argmax(probs)],
            probs=probs,
        )
    return answers                               # 并行返回,问题数不线性增加延迟

关键不在于决策头的具体结构,而在于合法输出空间在调用前就已经封闭。自回归模型输出“是”也要跑完整条解码链,而 JEV 把答案空间提前枚举,一次前向计算并行给出所有答案。三个原语——Noul(是非)、Choice(多选一)、Score(分级打分)——共同的特征是答案有界,代码不需要解析自由文本,可以直接用阈值或分支消费结果。

概率校准:让“置信度”真正可以被阈值消费

类型化输出让代码免于解析,但让阈值路由可靠的是概率校准。这里有一个必须精确区分的工程事实:JEV 的三种原语校准表现并不一致。独立审计显示,Noul 的概率与真实命中率的偏差保持在 0.014–0.029 的窄带内,而 Choice 在缺乏证据时对公平硬币给出 0.83–0.93 的过度自信判断;当证据本身包含概率信息时,Choice 的行为更像一个开关,而非忠实的概率读者。审计的结论是:Choice 的概率更适合当作“决策分数”而非“概率”来使用。

这意味着生产部署中,原始输出不能直接喂给业务阈值。标准做法是引入独立校准层,用业务标注数据拟合温度参数(开源复现中拟合温度约为 Noul 1.002、Choice 0.984、Score 1.012),将“模型分数”与“业务可信度”分开存储,阈值登记在校准后的尺度上。

代码语言:javascript
复制
class CalibratedRouter:
    def __init__(self, temps: dict, auto: float, review: float):
        self.temps, self.auto, self.review = temps, auto, review

    def route(self, ans: TypedAnswer):
        p = softmax(ans.logits / self.temps[ans.kind])[ans.choice_index]
        if p >= self.auto:   return "auto",   ans.choice
        if p >= self.review: return "review", ans.choice
        return "abstain", None

auto 和 review 由业务根据误执行代价设定,而不是模型给出。校准只改变分数的尺度,不改变排序,因此可以在不牺牲区分能力的前提下,让阈值获得可比较的语义。

边界:JEV 不替代验证,只改变验证的位置

JEV 解决的是“语义判断的接口问题”,不是“判断必然正确”的问题。一个 Choice 任务即使在概率上高度自信,仍然可能把支付渠道故障分给错误的技术团队——类型正确不等于语义正确。同样,Noul 的校准是群体统计性质,单个 0.95 不能被解释为“这一条判断 95% 正确”。因此生产链路中,JEV 的输出之后必须保留代码层的业务校验:模型判了“执行”,guard_ok 仍然可以拦下不符合业务条件的动作。支付、删除、权限变更等不可逆操作,不应仅凭模型置信度直接放行。

JEV 最准确的位置是 Agent 执行层的高频、原子化判定:工具路由、意图分类、风险预筛。规划与开放式生成仍然留给自回归模型。判断交给有界接口,验证留在代码层,这种分工才是 JEV 作为“决策模型”的真正工程含义。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 非自回归:一次前向,并行回答全部问题
  • 概率校准:让“置信度”真正可以被阈值消费
  • 边界:JEV 不替代验证,只改变验证的位置
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档