传统软件是"确定性系统":同样的输入,永远同样的输出。AI 产品是"概率性系统":同样的输入,输出可能不同,而且一定会有错的时候。
这个差异决定了三件事:
想清楚这三点,后面的每个决策都会顺很多。
AI 产品失败最常见的原因不是技术,是选错了场景。判断一个场景值不值得做,看四条:
一个实用方法:先找"人已经在做、但做得很烦"的环节。比如客服查资料、运营写初稿、法务审合同条款——这些环节人已经在干,说明需求真实;人干得烦,说明有提效空间。
反过来,不要一上来就做"通用助手"。通用助手的竞争对手是所有人的习惯,而垂直场景里你只需要比"人肉干"好一点就能活。
这个阶段不要写工程代码,不要搭架构。一个 Prompt、一份真实数据、一张表格,就能验证 80% 的可行性。
做法是:收集 30–50 条真实用户会问的问题,人工写好"理想答案",然后用 Prompt 让模型跑一遍,逐条对比打分。这一步的产出不是代码,而是一份评估表和一个初步结论:这个场景模型到底能不能干到可接受的水平。
一个结构化的 Prompt 大致长这样,重点在把角色、约束、输出格式写死:
你是某电商平台的售后助手。只根据下面的知识库回答,不要编造。
若知识库中没有答案,回复"这个问题我需要转人工"。
输出格式:先给结论,再给依据(引用知识库原文)。
知识库:{{context}}
用户问题:{{question}}Prompt 工程在这个阶段的价值,是让你用几小时而不是几周,判断一件事该不该继续。很多想法在这一步就会被否掉——这是好事,省下了后面所有的投入。
这是最容易被跳过、却最决定成败的一步。没有评估,你改一版 Prompt 或换一个模型,根本不知道是变好还是变坏。
一套最小可用的评估体系包括:
这套东西听起来重,其实一张表格加一个脚本就能起步。它的价值在于:把"感觉变好了"变成"指标涨了 5 个点",团队才有共同语言,迭代才有方向。
验证通过后,才进入真正的工程阶段。主流有三条路:
chunks = vector_store.search(question, top_k=5)
context = "\n".join(c.text for c in chunks)
answer = llm.complete(prompt_template.format(context=context, question=question))难点不在这几行,而在切分策略、检索召回质量、以及"检索不到时怎么办"。
同时必须正视成本:每次调用都花钱、都耗时。工程上要做的包括缓存高频问题、用小模型处理简单请求、设置超时和降级。一个不考虑成本的 AI 产品,商业模式是站不住的。
上线不是终点。AI 产品上线后要做三件事:
别忘了信任设计:标注"AI 生成,请核实"、提供引用来源、关键操作二次确认、随时可转人工。这些不是锦上添花,而是 AI 产品能不能被接受的前提。
阶段 | 核心工作 | 产出 |
|---|---|---|
选场景 | 用四条标准筛需求 | 一个值得做的场景 |
验证 | Prompt + 真实数据跑通 | 评估表 + 可行性结论 |
评估体系 | 黄金集 + 指标 + 回归 | 可量化的迭代基线 |
工程化 | RAG / Agent / 成本优化 | 能上线的系统 |
迭代 | 监控 + 坏案例闭环 | 持续变好的产品 |
AI 产品的门槛,早就不在"能不能调通模型"——那是几行代码的事。真正的门槛在选对场景、建好评估、控制成本、经营信任这四件"不那么性感"的事上。把这几件事做扎实,哪怕用的是和别人一样的模型,你的产品也会明显更好用。反过来,只盯着模型和 Demo,做出来的东西大概率活不过第一个月。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。