用AI做测试 - 你会对LLM提问吗？

蓝字

大模型不是“心灵感应”

你有没有过这样的体验？你打开一个大语言模型，满怀期待输入了一个请求，结果对方给出的回答模糊不清、毫无帮助。你气得直呼“这AI也太不靠谱了！”但真的是模型的问题吗？

事实上，大模型（LLM）从来不具备读心术的能力。它不会知道你真正想要什么，也不会对你的意图“脑补”上下文。它唯一能依赖的，就是你给出的提示。

它会对任何请求做出回应，不管那个请求是不是清晰、完整、有逻辑。这听起来好像很智能，实则是一把“双刃剑”——当你的提示含糊、上下文缺失时，模型依然会给出答复，但这个答复，很可能就是毫无价值的废话。

“Garbage in, garbage out”，经典得不能更真

业界有一句话被无数次验证过：Garbage in, garbage out（垃圾输入，垃圾输出）。

如果你问模型：“帮我写个测试用例”，它或许会回你一句“测试系统是否能正确响应请求”。听起来好像没错，但实用价值几乎为零。

再比如，如果你随口一句“帮我生成一段接口自动化测试代码”，它很可能回你一个与业务无关的通用模板。你本想节省时间，结果却浪费了更多时间去改错。

不是模型不行，而是你“输入”的质量，决定了它“输出”的深度。

设计提示，本质上是设计沟通

大模型不是独立的专家，它是你的“配合型合作者”。你要像对待团队中的新人一样，对它讲清楚背景、目标、期望格式，而不是甩一句“你自己看着办”。

换句话说：提示（Prompt）不仅仅是指令，它是一种“精密的沟通设计”。

你要告诉模型：

你希望它扮演什么角色（测试工程师？接口开发？）

你提供了哪些背景信息（产品需求？接口文档？业务流程？）

你希望得到什么样的输出（表格？代码？测试用例？自然语言总结？）

一个好的提示，不只是“问清楚”，而是“说清楚”。

案例对比：差提示和好提示的天壤之别

假设你想让模型帮你生成一个接口的测试用例。

提示1（模糊）：

“帮我写一个接口的测试用例。”

LLM回应：

“请验证接口返回是否正确，响应码为200。”

听起来像“懂点门道”，但根本用不上。

提示2（清晰）：

“请根据以下接口文档，生成一个Postman格式的自动化测试用例，要求包含请求方法、URL、请求体字段、期望断言，输出格式为JSON。接口说明如下：用户登录接口，POST请求，URL为 /api/login，请求体包括 username 和 password。”

LLM回应（结构化输出）：

{"method": "POST","url": "/api/login","body": {   "username": "test_user",   "password": "123456"},"tests": {   "status": 200,   "response.body.token": "exists"}}

这就是提示设计的力量。清晰的上下文和明确的格式要求，让模型“明白你要干嘛”，并以你希望的方式呈现结果。

提示设计，是新一代技术人的必修课

对测试工程师和AI从业者来说，掌握大语言模型的能力不再只是“试试好玩”，而是逐渐成为职场技能的一部分。

尤其是在测试领域，借助大模型自动生成测试用例、脚本、测试数据、API文档评审建议等，正在逐步成为现实。而这些工作的关键，就是高质量的提示。

你可以把提示设计理解为一种“提问的艺术”，也可以视为一门“工程化沟通技巧”。它不是堆叠关键词，而是结构化地告诉模型你要什么、你希望它怎么做。

三个实用建议，让你的提示更强大

1. 明确角色与目标

“你是一名API测试工程师，帮我……”这类提示句式，让模型更清楚该用什么角度回应你。

2. 给出足够上下文

“根据以下接口文档”、“结合以下用户故事”、“根据这个用例场景”……不要吝啬背景信息。

3. 指定输出格式和风格

“输出JSON格式”、“以表格形式展示”、“请用Postman断言结构”——越明确越容易获得你想要的结果。