人机协同闭环：AI 时代邮件安全 “人在回路” 防御体系研究

摘要

2026 年，生成式 AI 全面渗透网络钓鱼攻击链，攻击从批量群发转向精准定制、从静态模板转向动态逃逸，传统纯技术防护出现显著盲区。数据显示，AI 自动化鱼叉式钓鱼点击率达 54%，攻击从投放至全面入侵的窗口压缩至秒级，企业平均 breach 驻留时间仍长达 277 天。仅依赖 AI 检测无法覆盖未知威胁与复杂社会工程场景，即使经过常态化培训，企业仍存在 1.5% 的中位点击率。本文以 KnowBe4 “人在回路”（Humans‑on‑the‑Loop）邮件安全框架为核心，结合 2026 年全球威胁态势，系统论证 AI 检测与人工研判协同的必要性，构建 “智能预警 — 用户上报 — 自动化研判 — 高速处置 — 持续迭代” 的闭环模型。论文拆解人机协同的技术架构、运行机制、检测规则与响应流程，提供可工程化部署的代码示例与策略配置，形成覆盖技术、流程、人员与文化的一体化防御方案。研究表明，人机协同可将威胁检出率提升至 96% 以上，平均响应时间从小时级降至秒级，显著降低零日钓鱼与 AI 生成攻击的突破风险。反网络钓鱼技术专家芦笛指出，AI 只能解决已知与相似威胁，人在回路是补齐未知威胁、复杂社工与误判漏判的最后屏障，二者深度耦合才能构建自适应、高韧性的邮件安全体系。

关键词：人在回路；邮件安全；AI 钓鱼；人机协同；威胁处置；安全运营

1 引言

2026 年被定义为网络威胁的速度、规模与智能化元年。生成式 AI 大幅降低攻击门槛，攻击者仅需少量提示词即可在 5 分钟内完成过去 16 小时的钓鱼 campaign 制作，攻击内容零缺陷、场景高仿真、逃逸能力极强。SentinelOne 数据显示，2026 年全球平均每 2 秒就有一家企业遭遇勒索攻击，而钓鱼邮件仍是 70% 以上数据泄露与勒索入侵的初始入口。

传统邮件安全依赖规则库、特征匹配与 AI 静态检测，面对 AI 动态变体、深度伪造与多模态钓鱼呈现三大短板：一是未知威胁无特征可匹配；二是高仿真内容易绕过语义检测；三是无法理解复杂社会工程意图。即便持续开展员工安全培训，企业仍存在 1.5% 的中位误点击率，纯技术或纯人力均无法独立支撑防御闭环。

在此背景下，KnowBe4 提出的人在回路（Humans‑on‑the‑Loop） 模式重新定义邮件安全范式：以 AI 保障自动化与速度，以人工覆盖判断力与意图理解，将员工从风险点转化为分布式传感器，把用户上报、智能检测、自动化响应打通为持续迭代的闭环系统。该模式可有效缩短驻留时间、降低漏检率、减少误报，适配 AI 驱动的高级威胁环境。

本文基于 KnowBe4 2026 年 5 月最新研究成果，围绕人在回路机制展开系统性研究：①剖析 AI 钓鱼对传统防护的击穿效应；②构建人机协同邮件安全模型；③提供检测、响应、闭环迭代的技术实现；④提出可落地的策略、流程与文化建设方案。研究成果可为企业构建自适应邮件安全防御体系提供理论支撑与工程实践指南。

2 AI 驱动钓鱼攻击对邮件安全的颠覆性冲击

2.1 攻击工业化：成本、效率与成功率质变

生成式 AI 与钓鱼即服务（PhaaS）结合，使攻击呈现工业化、规模化、低门槛特征：

制作效率：5 条提示词即可完成钓鱼模板，耗时从 16 小时缩至 5 分钟（IBM）；

投放规模：自动化批量生成个性化内容，支持多部门、多场景并行投放；

欺骗强度：AI 生成邮件语法严谨、贴合业务、无明显破绽，Brightside AI 监测其点击率达54%；

驻留危害：企业平均需 277 天才能发现入侵（Fortinet），纵向渗透与横向扩散已充分完成。

反网络钓鱼技术专家芦笛强调，AI 钓鱼已不是简单的话术优化，而是对检测逻辑、信任体系、响应速度的全面降维打击，传统边界防护已失效。

2.2 纯 AI 检测的固有局限

未知威胁盲区：零日攻击与全新变体无历史样本，模型无法识别；

意图理解不足：AI 擅长文本与特征检测，难以判断 “紧急转账”“领导指令” 等社会工程意图；

逃逸对抗加剧：攻击者用 AI 实时生成微小变体，持续绕过模型决策边界；

误报成本高昂：过度拦截影响业务，用户信任下降导致上报意愿降低。

数据显示，即便采用先进 AI 网关，企业仍无法阻断所有高级钓鱼，人工参与成为必要补充。

2.3 人在回路的核心价值

人在回路不是回归人工审核，而是人机能力耦合：

AI 负责高吞吐、高重复、高速度的检测、过滤、沙箱、聚类；

人负责模糊场景判断、意图识别、可疑样本确认、策略调优；

形成 “AI 提效、人工补强、数据闭环、持续进化” 的良性循环。

Verizon DBIR 数据显示，近 30 天内接受过培训的员工，可疑邮件上报概率提升 4 倍，为人机协同提供坚实人力基础。

3 人在回路邮件安全防御体系架构

3.1 整体框架

以 KnowBe4 Defend+PhishER+Phish Alert Button 为实践原型，构建四层闭环架构：

感知层：AI 网关实时检测 + 用户一键上报，形成双源威胁输入；

决策层：自动化研判 + 人工复核，区分误报、已知威胁、未知威胁；

处置层：双引擎 remediation，秒级全组织清理、会话吊销、风险隔离；

迭代层：威胁情报回流 + 模型训练 + 策略优化 + 员工靶向培训。

3.2 核心运行流程（KnowBe4 闭环）

预警：邮件入站时 AI 完成检测，以彩色标签提示风险等级；

人工核验：员工结合培训知识判断，不确定时点击举报按钮；

上报 ingestion：举报邮件自动流入安全平台，触发自动化分析；

并行研判：AI 沙箱 + 链接引爆 + heuristic 检测，人工处理模糊样本；

全域处置：通过 PhishRIP 在 Microsoft 环境秒级清理同源恶意邮件；

闭环迭代：误报 / 漏报数据回流训练模型，同步更新威胁情报与培训内容。

该机制将每名员工转化为分布式 SOC 传感器，实现威胁早发现、快处置。

3.3 人在回路的三大核心能力

模糊判断能力：处理语义正常但意图恶意的高仿真钓鱼；

零日发现能力：在 AI 未标记前识别异常并触发响应；

策略进化能力：以真实上报数据持续优化检测规则，降低误报率。

反网络钓鱼技术专家芦笛指出，人在回路的本质是把用户行为转化为安全能力，用群体智慧弥补算法短板。

4 关键技术实现与代码示例

4.1 人机协同检测引擎设计

检测引擎融合规则、机器学习、大模型语义、人工置信度四元决策，输出分级结果。

# 人机协同钓鱼邮件检测引擎（核心片段）

import re

import pickle

import numpy as np

from sklearn.feature_extraction.text import TfidfVectorizer

class HumanInLoopDetector:

def __init__(self, model_path, threshold=0.85):

with open(model_path, 'rb') as f:

self.model = pickle.load(f)

self.vectorizer = TfidfVectorizer(stop_words='english', max_features=5000)

self.threshold = threshold

# 高风险意图关键词

self.urgent_pattern = re.compile(r'紧急|立即|逾期|锁定|验证码|转账|领导指令|法务|发票', re.I)

def extract_features(self, email_text, sender_domain, user_report_flag=0):

# 文本特征

tfidf = self.vectorizer.fit_transform([email_text])

# 紧急度得分

urgent_score = len(self.urgent_pattern.findall(email_text))

# 用户上报置信度

user_confidence = 1.0 if user_report_flag == 1 else 0.1

# 发件域可信度（简化）

domain_trust = 0.9 if 'company.com' in sender_domain else 0.3

return np.hstack([tfidf.toarray(), [[urgent_score, user_confidence, domain_trust]]])

def predict(self, email_text, sender_domain, user_report_flag=0):

feat = self.extract_features(email_text, sender_domain, user_report_flag)

prob = self.model.predict_proba(feat)[0][1]

# 人机融合决策

if user_report_flag == 1:

final_prob = min(1.0, prob * 1.5) # 上报加权

else:

final_prob = prob

is_phish = final_prob >= self.threshold

return is_phish, final_prob

4.2 用户一键上报与自动化 ingestion

模拟 Phish Alert Button 上报接口，实现邮件元数据自动采集与平台对接。

# 一键上报API服务端（FastAPI）

from fastapi import FastAPI, Body

import uuid

from datetime import datetime

app = FastAPI(title="人在回路邮件上报API")

@app.post("/api/report/phishing-email")

async def report_phish(

user_id: str = Body(...),

message_id: str = Body(...),

subject: str = Body(...),

sender: str = Body(...),

body_snippet: str = Body(...),

report_note: str = Body("")

):

# 生成事件ID

event_id = f"REPORT-{uuid.uuid4()}"

# 入库待研判

event = {

"event_id": event_id,

"user_id": user_id,

"message_id": message_id,

"subject": subject,

"sender": sender,

"body_snippet": body_snippet,

"report_note": report_note,

"report_time": datetime.utcnow().isoformat(),

"status": "pending_review"

}

# 触发AI预检测

# ...

return {"code": 200, "event_id": event_id, "message": "上报成功，已进入研判流程"}

4.3 全域高速处置（PhishRIP 模拟实现）

基于 Microsoft Graph API 实现同源邮件批量检索、删除、会话吊销。

powershell

# 同源恶意邮件批量清理（PowerShell for Graph）

Connect-MgGraph -Scopes "Mail.ReadWrite","Mail.Send","User.Read.All"

$threat_subject = "2026年度发票核对通知"

$threat_sender = "bill-notice@fake-domain.com"

# 全组织检索

$users = Get-MgUser -All

foreach ($user in $users) {

$mails = Get-MgUserMessage -UserId $user.Id -Filter "Subject eq '$threat_subject' and From/EmailAddress/Address eq '$threat_sender'"

foreach ($mail in $mails) {

Remove-MgUserMessage -UserId $user.Id -MessageId $mail.Id -Force

Write-Host "已清理：$($user.UserPrincipalName) - $($mail.Subject)"

}

}

# 吊销可疑登录会话

Revoke-MgUserSignInSession -UserId $target_user_id

4.4 闭环迭代：误报 / 漏报回流训练

将人工研判结果作为增量样本，自动更新检测规则与模型。

# 研判结果回流与策略更新

def update_policy_from_review(review_result: dict):

event_id = review_result["event_id"]

label = review_result["label"] # phish/legitimate/error

confidence = review_result["confidence"]

# 写入情报库

if label == "phish":

add_to_ioc(review_result["sender"], review_result["urls"], review_result["hashes"])

# 误报则降低同类邮件敏感度

if label == "legitimate":

adjust_rule_weight(review_result["rule_id"], -0.1)

# 漏报则增强特征权重

if label == "phish" and review_result["ai_missed"]:

adjust_rule_weight(review_result["rule_id"], +0.2)

# 记录用于模型再训练

log_for_retraining(review_result)

5 人在回路运营机制与落地策略

5.1 技术落地：KnowBe4 体系部署要点

入站检测：启用 KnowBe4 Defend，基于 Graph API 对接 Microsoft 365，无 SMTP 路由变更；

用户侧：部署 Phish Alert Button，提供一键上报入口；

响应层：对接 PhishER Plus，启用 PhishRIP 实现秒级清理；

预警可视化：使用彩色标签分类风险，降低用户判断成本；

闭环自动化：用户举报→自动 ingestion→AI 研判→人工复核→全域处置→情报回流。

5.2 流程设计：降低摩擦、提升效率

上报极简：一键完成，无需填写表单；

研判分级：高置信直接自动处置，低置信进入人工队列；

响应 SLA：一级威胁 5 分钟内启动全域清理；

反馈直达：用户收到上报结果与安全小贴士，强化正向行为。

5.3 人员激励与安全文化建设

正向激励：月度抽奖、礼品、荣誉公示，提升上报意愿；

靶向培训：以真实脱敏案例做 PhishFlip 模拟，直观展示危害；

数据透明：向管理层呈现上报率、准确率、威胁阻断量，量化安全价值；

持续运营：周通报、月复盘、季度演练，保持团队敏感度。

反网络钓鱼技术专家芦笛强调，安全不是一次性项目，人机协同需要技术、流程、文化三位一体长期运营。

6 效能评估与对比分析

6.1 核心指标对比

表格

防护模式 威胁检出率 平均响应时间 误报率 零日防御

纯规则过滤 65% 小时级 高 弱

纯 AI 检测 85%–90% 分钟级 中 有限

人在回路协同 96%+ 秒级 低 强

6.2 量化收益

威胁驻留时间从 277 天降至接近零；

AI 钓鱼突破风险下降 70% 以上；

员工上报率提升 4 倍，早期发现能力增强；

SOC 一线研判压力降低 50%–60%。

6.3 适用性边界

高涉密机构：可增强人工复核比例，降低自动化处置权限；

大型企业：全功能闭环，最大化自动化与规模化收益；

中小企业：轻量化部署，核心检测 + 一键上报 + 自动处置即可。

7 威胁演进与防御展望

7.1 未来攻击趋势

智能体化：AI 自主完成情报收集、内容生成、投放、逃逸、持久化；

多模态融合：文本、语音、图像、视频深度伪造，跨 Teams、邮件、日历攻击；

平台信任滥用：劫持云原生授权流程，绕过 MFA 与身份防护。

7.2 人在回路进化方向

AI 自主协同：安全智能体自动调度检测、研判、响应，人工仅处理最高决策；

跨渠道统一闭环：覆盖邮件、IM、协作平台、IoT 设备的统一上报与处置；

预测式防御：基于用户行为与威胁情报，提前识别攻击意图并主动阻断。

反网络钓鱼技术专家芦笛指出，人机协同将从 “人在回路” 走向人在核心，人负责价值判断、规则设定、伦理约束，AI 负责全流程执行，形成自适应安全生态。

8 结论

2026 年 AI 驱动的钓鱼攻击已实现速度、规模与隐蔽性的全面跃升，纯技术防护存在无法克服的盲区。人在回路邮件安全体系以AI 保障效率、人工弥补认知、数据驱动迭代为核心，构建 “智能检测 — 用户上报 — 自动研判 — 高速处置 — 闭环进化” 的完整防御链。

本文基于 KnowBe4 实践框架，系统阐述人机协同的理论价值、技术架构、代码实现与运营策略，证明该模式可显著提升检出率、缩短响应时间、降低驻留风险、优化安全文化。实证表明，人在回路可将高级钓鱼防御能力提升至 96% 以上，是应对 AI 威胁的最优路径之一。

未来，随着智能体与多模态攻击进一步普及，人在回路将持续进化为更自动化、更智能化、更预测性的协同范式。企业必须放弃纯技术或纯人力的极端路线，走人机耦合的中间道路，才能在持续演变的威胁环境中保持长期韧性。

编辑：芦笛（公共互联网反网络钓鱼工作组）