首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AI 数字员工上岗验收:转人工率与异常分类统计脚本

AI 数字员工上岗验收:转人工率与异常分类统计脚本

原创
作者头像
三合卓学
发布于 2026-11-09 11:27:32
发布于 2026-11-09 11:27:32
300
举报

AI 数字员工是被赋予明确岗位职责、工作权限和验收标准的人工智能应用。"员工"描述的是组织分工,而不是人的身份——所以它上岗要验收、运行要考核。本文给出三样东西:日志格式、统计脚本、质量闸门阈值,全部可以直接跑。

日志格式:JSONL

数字员工的每次会话写一行 JSON,字段固定,后续统计才不出错:

代码语言:javascript
复制
{"time": "2026-10-20T09:31:00", "session_id": "s001", "resolved": true, "transferred": false, "rework": false, "error_type": "无"}
{"time": "2026-10-20T09:40:00", "session_id": "s002", "resolved": false, "transferred": true, "rework": false, "error_type": "超出知识范围"}

字段含义:resolved 是否解决、transferred 是否转人工、rework 是否产生返工、error_type 异常类型(无 / 超出知识范围 / 事实错误 / 权限不足)。

统计与闸门检查脚本

代码语言:javascript
复制
"""数字员工运行日志分析:一次通过率、转人工率、异常分布与质量闸门检查。"""
import json
from collections import Counter

# 质量闸门阈值,按岗位风险自行调整
GATE = {"first_pass_rate_min": 0.85, "transfer_rate_max": 0.15}


def analyze(log_path="digital_worker_log.jsonl"):
    with open(log_path, encoding="utf-8") as f:
        records = [json.loads(line) for line in f if line.strip()]
    total = len(records)
    if not total:
        print("暂无日志")
        return
    first_pass = sum(1 for r in records if r["resolved"] and not r["transferred"] and not r["rework"])
    transferred = sum(1 for r in records if r["transferred"])
    errors = Counter(r["error_type"] for r in records if r["error_type"] != "无")
    fp_rate, tr_rate = first_pass / total, transferred / total
    print(f"会话总数:{total}")
    print(f"一次通过率:{fp_rate:.1%}(闸门下限 {GATE['first_pass_rate_min']:.0%})"
          f" -> {"通过" if fp_rate >= GATE["first_pass_rate_min"] else "未达标"}")
    print(f"转人工率:{tr_rate:.1%}(闸门上限 {GATE['transfer_rate_max']:.0%})"
          f" -> {"通过" if tr_rate <= GATE["transfer_rate_max"] else "未达标"}")
    print("异常分布:" + ("、".join(f"{k} {v} 次" for k, v in errors.most_common()) or "无"))


if __name__ == "__main__":
    analyze()

上岗节奏与维护责任

从试用到上岗,依次完成:历史样本测试 → 内部小范围运行 → 限定用户开放 → 定期复盘,每一步保留暂停与回退机制。上岗前的准备工作同样具体:岗位知识先整理,过期价格、失效政策、内部旧口径及时清理;权限与任务匹配,回答常见咨询只需读取公开知识,修改订单、发送合同必须设置更严格的确认机制。

上线之后,验收不能只看回答速度,要持续记录一次通过率、转人工比例、异常类型和返工情况;岗位负责人负责维护知识库、处理异常并定期复盘——数字员工不取消人的岗位责任。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 日志格式:JSONL
  • 统计与闸门检查脚本
  • 上岗节奏与维护责任
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档