
AI 数字员工是被赋予明确岗位职责、工作权限和验收标准的人工智能应用。"员工"描述的是组织分工,而不是人的身份——所以它上岗要验收、运行要考核。本文给出三样东西:日志格式、统计脚本、质量闸门阈值,全部可以直接跑。
数字员工的每次会话写一行 JSON,字段固定,后续统计才不出错:
{"time": "2026-10-20T09:31:00", "session_id": "s001", "resolved": true, "transferred": false, "rework": false, "error_type": "无"}
{"time": "2026-10-20T09:40:00", "session_id": "s002", "resolved": false, "transferred": true, "rework": false, "error_type": "超出知识范围"}字段含义:resolved 是否解决、transferred 是否转人工、rework 是否产生返工、error_type 异常类型(无 / 超出知识范围 / 事实错误 / 权限不足)。
"""数字员工运行日志分析:一次通过率、转人工率、异常分布与质量闸门检查。"""
import json
from collections import Counter
# 质量闸门阈值,按岗位风险自行调整
GATE = {"first_pass_rate_min": 0.85, "transfer_rate_max": 0.15}
def analyze(log_path="digital_worker_log.jsonl"):
with open(log_path, encoding="utf-8") as f:
records = [json.loads(line) for line in f if line.strip()]
total = len(records)
if not total:
print("暂无日志")
return
first_pass = sum(1 for r in records if r["resolved"] and not r["transferred"] and not r["rework"])
transferred = sum(1 for r in records if r["transferred"])
errors = Counter(r["error_type"] for r in records if r["error_type"] != "无")
fp_rate, tr_rate = first_pass / total, transferred / total
print(f"会话总数:{total}")
print(f"一次通过率:{fp_rate:.1%}(闸门下限 {GATE['first_pass_rate_min']:.0%})"
f" -> {"通过" if fp_rate >= GATE["first_pass_rate_min"] else "未达标"}")
print(f"转人工率:{tr_rate:.1%}(闸门上限 {GATE['transfer_rate_max']:.0%})"
f" -> {"通过" if tr_rate <= GATE["transfer_rate_max"] else "未达标"}")
print("异常分布:" + ("、".join(f"{k} {v} 次" for k, v in errors.most_common()) or "无"))
if __name__ == "__main__":
analyze()从试用到上岗,依次完成:历史样本测试 → 内部小范围运行 → 限定用户开放 → 定期复盘,每一步保留暂停与回退机制。上岗前的准备工作同样具体:岗位知识先整理,过期价格、失效政策、内部旧口径及时清理;权限与任务匹配,回答常见咨询只需读取公开知识,修改订单、发送合同必须设置更严格的确认机制。
上线之后,验收不能只看回答速度,要持续记录一次通过率、转人工比例、异常类型和返工情况;岗位负责人负责维护知识库、处理异常并定期复盘——数字员工不取消人的岗位责任。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。