Demo 的逻辑是“看,它能做到”。产品经理会精心挑选一个模型发挥最好的场景,反复调提示词,直到输出无可挑剔。观众看到的是能力的天花板。
但用户真正每天面对的,是地板。
同一个问题,今天答得漂亮,明天换个说法就答偏了;同一个任务,十次里成功七次,剩下三次要么胡编,要么答非所问。对 Demo 来说,70% 的成功率足够惊艳;对产品来说,30% 的失败率足以让用户永久离开。
这就是 AI 产品和传统软件最根本的差异。传统软件:同样的输入,永远同样的输出。AI 产品:同样的输入,输出是一个分布。用户的心理预期却是按传统软件建立的——他要的是那个确定的结果,而不是一个“大概率不错”的结果。
所以 AI 产品的第一性设计问题不是“怎么让模型更强”,而是:怎么管理这个分布。
我总结下来,活得好的 AI 产品,都在做同一件事——把不确定性从一个黑箱,变成用户可以感知、可以干预、可以兜底的东西。具体有三种姿势。
第一种:让不确定性可见。 不要把模型的输出当成“答案”直接端上去,而是附上它的把握程度和依据。检索类产品给出引用来源,分类类产品给出置信度,生成类产品把“我确定的”和“我推测的”在措辞上区分开。用户不怕不确定,怕的是不知道哪里不确定。
第二种:让不确定性可逆。 一次输出不是终点,而是一个草稿。提供重试、编辑、局部重写、换一种风格。关键不是让第一次就对,而是让“不对”的代价足够低。用户愿意留在一个“错了也能轻松改”的产品里,但不会留在一个“错了就得从头再来”的产品里。
第三种:让不确定性有边界。 明确告诉用户这个产品能做什么、不能做什么,并且在边界之外主动交还给确定性方案。一个客服 AI 在产品政策类问题上用模型回答,在订单状态类问题上直接查数据库——前者容错,后者必须精确。把概率留给该模糊的地方,把确定留给必须精确的地方,这是产品设计,不是模型能力。
下面这段伪代码很短,但它浓缩了上面三种姿势里的第一种和第三种。核心思想只有一句:不是所有输出都走同一条路。
def respond(query: str) -> dict:
result = model.generate(query) # 模型给出答案和置信度
conf = result["confidence"]
if conf >= 0.9:
# 高置信:直接呈现,但附来源,保持可追溯
return {"type": "answer", "text": result["text"], "sources": result["sources"]}
if conf >= 0.6:
# 中等置信:呈现,同时显式提示“仅供参考”,并提供重试
return {"type": "draft", "text": result["text"], "hint": "建议核对后使用", "retry": True}
# 低置信:不硬答,转交确定性通道或人工
return {"type": "handoff", "text": "这个问题我不太确定,已为你转接人工/知识库检索"}这段代码没有让模型变强一分。它做的是另一件事:根据模型的把握程度,决定产品该怎么表现。高置信直接给,中置信给草稿,低置信不硬撑。用户感受到的不再是“时好时坏的模型”,而是一个“知道自己几斤几两”的产品。
“知道自己几斤几两”——这恰恰是很多 AI 产品最缺的品质。
很多团队把资源全押在“换更强的模型”上,这在一个模型能力快速拉平的时代,是最容易被复制的投入。模型是租来的,能力是公共的。
真正难复制的是另外几样东西:对场景的拆解(知道哪些环节该用概率、哪些必须确定)、对不确定性的产品化处理(上面那三种姿势)、以及积累下来的用户反馈闭环(哪些输出被采纳、哪些被改掉,这些数据反过来定义了什么算“好”)。
换句话说,AI 产品的竞争力,越来越不在于“你用了什么模型”,而在于“你比谁都清楚在什么场景下该信模型几分”。这是一种判断力,不是一种算力。
AI 产品最危险的时刻,不是模型答错的那一刻,而是用户第一次因为答错而不再打开它的那一刻。前者是技术问题,后者是信任问题。
而信任从来不是靠“它大部分时候是对的”建立的,是靠“它错的时候我知道怎么办”建立的。
所以做 AI 产品,与其追问“怎么让模型更聪明”,不如先回答一个更朴素的问题:当模型不确定的时候,我的产品替用户做了什么? 这个问题的答案,决定了用户会不会有第二次打开。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。