接口自动化测试用例是一个老生常谈的问题,在未引入人工智能之前,也有非常多的生成方案,比如如下所示,通过har生成接口自动化测试用例:
但是以上的生成方式依然是有一些弊端,比如 har 本身虽然能表述一定的接口信息和业务信息,但是毕竟无法用来表述全部的应用场景与用例场景。而大部分的应用场景和用例场景,均是通过自然语言进行描述的。而解析自然语言,则是大语言模型擅长做的事情。
以下内容为3条接口测试用例:
测试模块 | 测试标题 | 测试步骤 | 预期结果 |
---|---|---|---|
接口功能 | 正常情况下的请求 | 发送一个正常的GET请求 | 响应状态码为 200 ,并返回请求者的IP地址 |
接口功能 | 非法请求方法 | 发送一个非GET请求,如POST或者PUT | 响应状态码为 405 |
接口功能 | 无效的请求路径 | 发送一个不存在的路径 | 响应状态码为404 |
以下为一个获取ip接口的har文件:
接下来,将通过这两个数据文件自动生成对应的测试用例。
在这个过程中,测试用例本身是自然语言,自然语言的解析与处理本身就是大模型非常擅长的工作。而可以通过 LangChain 简化整个的实现的过程。
编写的提示词模版信息如下所示:
template = """
你是一个自动化测试工程师,精通的技术栈为 Python pytest requests库
以下是这个接口的具体信息,
{context}
Question: {input}"""
通过功能测试用例生成的自动化测试脚本如下所示:
#1. Test case: 正常情况下的请求
import pytest
import requests
def test_normal_request():
url = 'http://example.com/normal_request'
response = requests.get(url)
assert response.status_code == 200
assert response.json()['ip_address'] == 'requester_ip'
#2. Test case: 非法请求方法
import pytest
import requests
def test_invalid_request_method():
url = 'http://example.com/invalid_request_method'
response = requests.post(url)
assert response.status_code == 405
# 3. Test case: 无效的请求路径
import pytest
import requests
def test_invalid_request_path():
url = 'http://example.com/invalid_request_path'
response = requests.get(url)
assert response.status_code == 404
当然,在此过程中可以很明显的发现,自动生成的用例是没有任何的接口信息的。原因是我们给到的数据里面就是没有接口信息的。
接下来,将读取har文件中的接口数据信息,和脚本进行结合。
提示词模版如下:
template = """
你是一个自动化测试工程师,你非常熟悉requests库
{context}
Question:
请根据传入的接口信息提取request中的 ip 、 url 、method、json。
key值为前面提到的字段,如果没有则无需添加。如果有则提取对应的value。
要求返回的格式为json格式
"""
生成结果如下:
{
"ip": "182.92.156.22",
"url": "https://httpbin.ceshiren.com/ip",
"method": "GET"
}
再将以上的过程结合之后,完整版的代码如下所示
from langchain_community.chat_models.openai import ChatOpenAI
from langchain_community.document_loaders.text import TextLoader
from langchain_core.output_parsers import JsonOutputParser, StrOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.runnables import RunnablePassthrough
from utils.langchain_debug import langchain_debug
langchain_debug()
llm = ChatOpenAI()
def get_by_filename(filename):
info = TextLoader(f'./data/{filename}')
return info.load()
def get_case_data(_):
template = """
你是一个自动化测试工程师,你非常熟悉requests库
{context}
Question: {input}
请根据传入的接口信息提取request中的 ip 、 url 、method、json。
key值为前面提到的字段,如果没有则无需添加。如果有则提取对应的value。
要求返回的格式为json格式
"""
prompt = PromptTemplate.from_template(template=template, )
data_chain = (
RunnablePassthrough.assign(context=lambda x: get_by_filename("ip.har"), )
| prompt
| llm
| JsonOutputParser()
)
return data_chain
def get_case():
"""
通过大模型生成测试数据。
:return:
"""
template = """
你是一个自动化测试工程师,精通的技术栈为 Python pytest requests库
以下是这个接口的具体信息,你的
{context}
请求的参数信息将输入一个字典,输入的内容为
{req}
Question: {input}"""
# 模板提示,输出 json 格式的回答
prompt = PromptTemplate.from_template(
template=template, )
chain = (
RunnablePassthrough.
assign(context=lambda x: get_by_filename("获取ip测试用例.md"),
req=get_case_data)
| prompt
| llm
| StrOutputParser()
)
input_template = """
根据每条测试用例的测试步骤,生成对应的测试数据信息,
每条测试用例要求都有一条对应的单独的pytest函数
"""
print(chain.invoke({"input": input_template}))
if __name__ == '__main__':
get_case()
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。