我前两个月入了一个坑:既然写 prompt 这么麻烦,干脆把"优化 prompt"这件事也交给 AI。让它读我的原始提示词,自动给我改出更准的版本。
跑了几十轮之后发现,自动优化出来的 prompt,有一半是"看着更专业了,实际没啥用"。白忙活的地方主要有三处。
自动优化器最爱干的事,是把"你帮我写个总结"改成"你作为一名资深行业分析师,请用结构化、专业、严谨的语调,输出一份详实的总结报告"。
词多了,目标没变。我真正卡住的从来不是"语气不够专业",而是"我到底要让它产出什么格式、给谁看、用来干嘛"没写清。AI 优化 AI 的提示词,往往只在表层修辞上打转,碰不到你真正的意图。
我现在反过来:先自己用三句话写清"输入是什么、输出要长什么样、给谁用",再让优化器只在这三句话里帮我找漏洞。目标清晰了,优化才有意义。
优化器为了显得厉害,经常把一堆角色设定、约束条件、输出模板全塞进一个超长 prompt。结果是一段谁看都头大的"咒语",换个场景就用不了。
实测下来,能复用的提示词往往是短的、只管一件事的那类。我后来把长 prompt 拆回"一个提示词只解决一个子任务",反而效果更好,也更好调试——哪一段失效了一眼就能看出来。
最坑的是这个。我让优化器帮我改一个老是出错的客服问答提示词,它给出的新版本在它给我的那几个示例上答得特别漂亮。结果一上线,真实用户换个问法照样翻车。
后来才明白:自动优化基本是靠它自己造的"测试样例"来评判好坏的,而这些样例天然偏向它自己擅长的那类问题。它优化掉的不是你的真实短板,是它题库里那几道题。
提示词自动优化能省时间,但别把它当"写好 prompt 的终点"。它最该干的活是:帮你发现"哪里没说清",而不是"帮你写一坨更长的词"。
这条我建议先收藏——下次想偷懒把 prompt 优化丢给 AI 之前,先自己把目标写明白,再让它上手,省得绕一大圈回到原点。
最后抛个问题:你们现在还手搓 prompt 吗,还是已经习惯直接丢给自动优化器了?有没有哪次优化完,反而比原来更糊的?

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。