首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >四个指标,测出你的 AI 项目到底是真落地还是假落地

四个指标,测出你的 AI 项目到底是真落地还是假落地

原创
作者头像
马越太平洋
发布于 2026-11-18 15:01:41
发布于 2026-11-18 15:01:41
450
举报
文章被收录于专栏:AI大趋势AI大趋势

有个场景我在不同公司见过很多次。

老板问:我们的 AI 走到哪一步了?团队回答:已经上线了,好几个部门在用,效果不错。

再往下问三个问题:有评测吗?有回滚吗?出了错谁签字?

答案开始变模糊。"评测还在建设中""回滚主要靠人工""责任是大家一起扛"。

这三个答案,说明这个项目大概停在第二级。但汇报的语境会让所有人以为,它已经在第四级。

这篇就讲怎么把这件事量出来。报告给了两把尺子:五级成熟度,和四个指标。

01 第一把尺子:五级成熟度

L1 实验型

特征是单点试验。一个小组,一个场景,一个 demo。

这个阶段最大的错觉是"演示效果很好"。但报告一句话就把它戳破了:Demo 成功不等于部署成功。

L1 的真实风险有三条:演示好看但不能上线;人工兜底很多;价值尚未稳定量化。

第三条最要命。人工兜底多,意味着这个系统其实还没真正接手;价值没量化,意味着它随时可以被砍掉,因为没有人为它辩护。

L2 嵌入型

特征是 AI 进入了某一个真实工作流。

从 L1 到 L2 是质变。因为它开始接触真实用户、真实数据、真实结果。

但 L2 有一个标志性风险:权限和责任边界不稳定。

为什么不稳定?因为这个阶段的组织,通常是"先跑起来再说"。谁能用、能碰什么数据、出错算谁的,都还悬着。

这个阶段看起来最热闹,实际上最脆弱。因为它在用真实业务做试验,而试验的保护机制还没建起来。

L3 运营型

特征是 AI 成了日常运营系统的一部分。

这一级的分水岭是四样东西齐了:日志、评测、回滚、监控。

报告说,到这一步,系统才真正可以在日常流程里运行。

L3 的风险换了一种形态:反馈闭环断裂,或者异常恢复不足。

我理解这句话的意思是,L3 的系统不会"突然坏掉",它会慢慢变差。因为反馈闭环断了,没人知道它正在变差;因为异常恢复不足,等发现的时候已经来不及。

L4 模式型

特征是多部门、多客户开始出现重复模式。

这一级的能力标志是三样东西:playbook、模板、评测套件。

注意,这三样都不是"代码",是"可复用的方法"。这说明 L4 的核心不是技术能力,是抽象能力。

L4 的风险很反直觉:过度定制项目。

听起来矛盾——都已经模式化了,怎么还过度定制?其实不矛盾。因为 L4 的团队往往还保留着"客户要什么就做什么"的惯性,一边抽象,一边继续接定制,最后被定制拖死。

L5 产品型

特征是部署经验被产品化。

标志是平台能力开始降低下一次部署的成本。

L5 的风险是整份报告里我最喜欢的一句:产品抽象失去现场适配能力。

这句话说的是一种隐性退化。平台越做越通用,越通用越远离现场,越远离现场越解决不了具体问题。最后产品很漂亮,客户用不上。

从 L1 到 L5,不是能力递增,是"风险换形态"。

每一级都有它自己的死法。L1 死于上不了线,L2 死于边界不清,L3 死于闭环断裂,L4 死于过度定制,L5 死于脱离现场。

所以成熟度不是"越高越好",是"你在哪一级,就要防哪一种死法"。

02 第二把尺子:四个指标

成熟度回答"你在哪",指标回答"你有多实"。

指标一:Time-to-first-value

从诊断到首个价值的速度。

报告有三条限定,一条比一条重要。

第一,FDE 追求早交付和快速迭代。

第二,首个价值应由客户业务指标确认。

第三,速度必须与风险边界共同衡量。

第三条是关键。单看速度,谁都想要越快越好;但如果速度是靠跳过约束换来的,那它换来的不是价值,是风险。

我理解的"首个价值",不是"系统上线",是"客户自己的指标动了"。这两个之间,可能隔着好几周。

指标二:可信吞吐

英文是 Trusted Throughput,定义是通过评测、审批和业务验收的任务量。

报告有一句判断,我认为是这四个指标里最锋利的一句:总生成量不能代表生产价值。

这句话对当下的 AI 行业是个提醒。所有人都在报"我们一天处理了多少万次调用",但没人报"其中有多少通过了验收"。

报告还点了一句:高风险流程更需要可信而非全自动。

这一句给"全自动"降了温。在信贷审批、医疗建议、工控指令这些场景里,"自动完成一百件"不如"可信完成十件"。因为那一百件里如果有三件错的,整个系统的信任就没了。

指标三:评测覆盖率

定义是评测覆盖了哪些场景。

报告给了三个维度:常规样本、边界样本、失败样本。它还引用 John Deere 的案例说明定制评测对准确性改进的重要性。

然后是一句结论:没有覆盖率,部署风险无法度量。

这句话的逻辑是:你不能管理你没测量的东西。而评测覆盖率就是那个"测量工具"。

很多团队的评测只覆盖常规样本,因为常规样本好造、好看、通过率高。但真正决定系统能不能上线的,是边界样本和失败样本。

失败样本从哪来?从现场来。这就和上一篇的"现场信号"接上了。没有现场信号,你的评测集永远是温室里的。

指标四:人工接管质量

定义是 AI 不确定的时候,怎么把人接进来。

报告有三条要求:高影响场景不应追求无条件自动化;接管必须保留上下文、证据和建议;人工接管质量决定用户信任。

第二条最具体,也最容易被做错。

很多系统的人工接管,是把人叫过来,说一句"这里出问题了,你看一下"。这不是接管,这是甩锅。

真正的接管要带三样东西:上下文(它看到了什么)、证据(它依据什么判断的)、建议(它认为应该怎么处理)。

人拿到这三样,才可能在一分钟内做出正确决定。只拿到一句"出错了",他要花半小时重建现场。

03 三个可以带走的判断

第一个判断:别问"我们到第几级了",先问"我们在防哪一种死法"。

级别是标签,死法是现实。搞清楚自己最可能死在哪,比争一个好听的位置有用。

第二个判断:四个指标里,先抓评测覆盖率。

因为它最难造假。TTFV 可以靠赶工,可信吞吐可以靠放宽验收,接管质量可以靠话术。覆盖率不行,它要么有,要么没有。

第三个判断:所有指标都要有一个"分母"。

不是"我们处理了 10 万次",是"10 万次里有多少通过了验收"。没有分母的数字,都是宣传。

结语

这一篇给的是尺子,不是答案。

因为每家公司的情况不一样:有的还在 L1,有的已经在 L3 但自己不知道,还有的明明在 L2,汇报材料写成了 L4。

尺子的价值不在于打分,在于让你知道下一步该修什么。

报告里那句话说得很朴素:部署能力的成熟,不是一次跃迁,是一次次把风险换掉。

L1 换掉"上不了线"的风险,L2 换掉"边界不清"的风险,L3 换掉"闭环断裂"的风险,L4 换掉"过度定制"的风险,L5 换掉"脱离现场"的风险。

每换掉一个,你才真的往前走了一级。

本文依据《清华大学-2026年OpenAI FDE研究报告》及公开素材,五级划分与四项指标均引自该报告;文中关于各级风险的解读含作者个人理解,不代表报告原文表述。本文不构成任何技术选型或投资建议。

延伸思考,留给读到这里的你:

一、如果现在给你一个项目打分,你会给它 L2 还是 L3?差的那一样东西,具体是什么?

二、你们的评测集里,失败样本占多少?如果一个都没有,说明什么?

三、你们的人工接管,是交了三样东西,还是只说了一句"出错了"?

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档