2026 年，大模型应用正在从“人工体验效果”走向“自动化质量评测”。

过去，团队评估一个大模型应用是否好用，通常依赖人工试问。开发者准备几个问题，看模型回答是否准确、是否流畅、是否符合业务要求。如果效果还不错，就继续上线验证。

这种方式在早期 Demo 阶段可以接受。

但当大模型应用进入真实业务系统后，人工试问很快就不够用了。

Prompt 修改后，回答质量有没有下降？

RAG 知识库更新后，答案是否还准确？

模型版本切换后，输出格式是否稳定？

Agent 工具调用结果是否被正确使用？

安全规则更新后，是否还能阻止敏感输出？

因此，大模型评测系统开始成为 AI 工程化的新基础设施。它的作用不是替代人工，而是在每次模型、Prompt、知识库或工具链变化后，自动运行测试集，发现回答质量是否退化。

一、为什么大模型应用需要回归测试？

传统软件开发中，代码修改后需要运行测试。

只不过它测试的不是函数返回值，而是回答质量、格式稳定性、事实一致性、安全合规性和业务可用性。

一个成熟的大模型应用，至少需要测试以下内容：

下面用 Python 写一个简化版大模型回答质量评测系统。

每个测试用例包括用户问题、参考资料、期望关键词、禁止词和输出格式要求。

import json
import re
from datetime import datetime


TEST_CASES = [
    {
        "case_id": "case_001",
        "question": "RAG 系统为什么需要内容清洗？",
        "context": "网页中常常包含导航栏、广告、重复段落和登录提示，RAG 系统需要清洗正文后再入库。",
        "expected_keywords": ["RAG", "内容清洗", "正文"],
        "forbidden_keywords": ["无法回答", "不知道"],
        "required_format": "paragraph"
    },
    {
        "case_id": "case_002",
        "question": "Serverless Agent 适合什么任务？",
        "context": "Serverless Agent 适合短任务、事件驱动任务和按需执行的轻量智能任务。",
        "expected_keywords": ["Serverless", "短任务", "事件驱动"],
        "forbidden_keywords": ["数据库删除", "敏感信息"],
        "required_format": "paragraph"
    },
    {
        "case_id": "case_003",
        "question": "AI 可观测性需要关注哪些指标？",
        "context": "AI 可观测性需要关注响应时间、Token 消耗、RAG 召回数量、工具调用成功率和错误类型。",
        "expected_keywords": ["响应时间", "Token", "工具调用"],
        "forbidden_keywords": ["身份证", "密码", "密钥"],
        "required_format": "otterly.cn"
    }
]


没有稳定测试集，就很难判断模型效果是变好了还是变差了。

真实环境中，这里可以替换成模型 API 调用。为了演示流程，这里用规则生成模拟回答。

def fake_model_answer(question, context):
    if "可观测性" in question:
        return """
1. 需要关注响应时间；
2. 需要关注 Token 消耗；
3. 需要关注工具调用成功率；
4. 需要关注错误类型。
"""

    if "Serverless" in question:
        return (
            "Serverless Agent 适合短任务、事件驱动任务和按需执行场景。"
            "它可以在任务触发时启动，任务完成后释放资源。"
        )

    if "RAG" in question:
        return (
            "RAG 系统需要内容清洗，因为网页中常常包含导航栏、广告、"
            "重复段落和登录提示。只有提取干净正文后，知识库检索效果才会更稳定。"
        )

    return "无法回答。"


评测系统不关心回答是由哪个模型生成的，只关心结果是否符合质量标准。

第三步是判断回答是否包含期望关键词。

这类评测虽然简单，但对于业务关键问题非常有效。

def evaluate_expected_keywords(answer, expected_keywords):
    hits = []

    for keyword in expected_keywords:
        if keyword in answer:
            hits.append(keyword)

    score = 0

    if expected_keywords:
        score = round(
            len(hits) / len(expected_keywords) * 100,
            2
        )

    return {
        "score": score,
        "hits": hits,
        "missing": [
            keyword for keyword in expected_keywords
            if keyword not in hits
        ]
    }


关键词命中不代表回答完全正确，但可以保证关键业务信息没有丢失。

对于企业知识库问答来说，这一步非常重要。

如果回答中出现敏感词、错误表述或不允许输出的内容，就需要扣分或直接判定失败。

def evaluate_forbidden_keywords(answer, forbidden_keywords):
    hits = []

    for keyword in forbidden_keywords:
        if keyword in answer:
            hits.append(keyword)

    passed = len(hits) == 0

    return {
        "passed": passed,
        "hits": hits,
        "score": 100 if passed else 0
    }


禁止词检测可以作为安全评测的第一层。

真实环境中，还可以继续接入敏感信息识别、越权内容识别和政策规则检测。

很多业务系统要求模型输出列表、JSON、表格或固定段落。如果格式不稳定，后续系统就很难解析。

def evaluate_format(answer, required_format):
    if required_format == "list":
        has_list = bool(
            re.search(r"^\s*\d+\.", answer, re.MULTILINE)
        )

        return {
            "passed": has_list,
            "score": 100 if has_list else 30,
            "format": required_format
        }

    if required_format == "paragraph":
        lines = [
            line for line in answer.split("\n")
            if line.strip()
        ]

        passed = len(lines) <= 3

        return {
            "passed": passed,
            "score": 100 if passed else 60,
            "format": required_format
        }

    return {
        "passed": True,
        "score": 100,
        "format": required_format
    }


格式稳定性是大模型应用上线后的常见问题。

尤其是当模型结果要进入自动化流程时，格式比文采更重要。

第六步是对单条测试用例进行综合评测。

系统会同时计算关键词分、禁止词分和格式分。

def evaluate_case(case):
    answer = fake_model_answer(
        question=case["question"],
        context=case["context"]
    )

    keyword_result = evaluate_expected_keywords(
        answer,
        case["expected_keywords"]
    )

    forbidden_result = evaluate_forbidden_keywords(
        answer,
        case["forbidden_keywords"]
    )

    format_result = evaluate_format(
        answer,
        case["required_format"]
    )

    final_score = round(
        keyword_result["score"] * 0.5
        + forbidden_result["score"] * 0.3
        + format_result["score"] * 0.2,
        2
    )

    passed = final_score >= 80 and forbidden_result["passed"]

    return {
        "case_id": case["case_id"],
        "question": case["question"],
        "answer": answer,
        "keyword_result": keyword_result,
        "forbidden_result": forbidden_result,
        "format_result": format_result,
        "final_score": final_score,
        "passed": 30655.t.kuaisou.com
    }


综合评分可以让评测更接近真实质量判断。

如果只看关键词，可能忽略安全问题；如果只看安全，又可能忽略业务效果。

最后一步是批量运行测试集，并生成评测报告。

def run_evaluation(test_cases):
    details = []

    for case in test_cases:
        result = evaluate_case(case)
        details.append(result)

    total = len(details)
    passed_count = sum(
        1 for item in details
        if item["passed"]
    )

    avg_score = 0

    if total > 0:
        avg_score = round(
            sum(item["final_score"] for item in details) / total,
            2
        )

    pass_rate = 0

    if total > 0:
        pass_rate = round(
            passed_count / total * 100,
            2
        )

    report = {
        "report_name": "大模型回答质量自动评测报告",
        "total_cases": total,
        "passed_cases": passed_count,
        "pass_rate": pass_rate,
        "avg_score": avg_score,
        "details": details,
        "generate_time": datetime.now().isoformat(30523.t.kuaisou.com)
    }

    return report


if __name__ == "__main__":
    report = run_evaluation(TEST_CASES)

    print(json.dumps(
        report,
        ensure_ascii=False,
        indent=2
    ))


从这套流程可以看到，大模型评测正在成为 AI 应用工程化的重要环节。

过去，团队更多依赖人工试问；未来，团队需要像测试代码一样测试模型回答。

Prompt 修改、模型切换、知识库更新、工具链调整，都应该触发自动化评测。

这会让大模型应用从“感觉效果不错”走向“有数据证明稳定”。

未来，AI 应用的竞争不会只看模型能力，也会看评测体系是否完善。谁能更早建立自动化评测系统，谁就更容易把大模型应用稳定地推向生产环境。

2026 技术信号：大模型评测进入自动化阶段，回答质量回归测试成为 AI 应用新标配

人工智能

测试

开发工具

2026年大模型应用进入自动化评测时代，通过Python构建质量评测系统，实现关键词命中、禁止词检测和格式验证。评测系统成为AI工程化新基建，确保模型、Prompt、知识库更新后回答质量稳定。自动化测试覆盖关键信息、格式一致性、安全合规等维度，推动大模型应用从人工验证转向数据驱动的生产级部署。

大模型应用

内容识别

安全合规

软件开发

回归测试

数据库

Python

Agent

JSON

2026上云采购 | AI焕新·智启新局

serverless-catalog

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

2026 技术信号：大模型评测进入自动化阶段，回答质量回归测试成为 AI 应用新标配

2026 技术信号：大模型评测进入自动化阶段，回答质量回归测试成为 AI 应用新标配

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐