AI 爬虫处置实操：用 EdgeOne 一键拦截 20+ 种 AI 爬虫

先说结论：如果你有一个公开可访问的网站，大概率正在被 AI 爬虫批量抓取，而你可能完全不知道。

腾讯云 EdgeOne 最近发布了《腾讯云 2025 年 DDoS 与应用安全威胁趋势报告》，里面有一组数据：

● Bot 流量已占全网互联网流量的近四成，AI 爬虫是增长最快的类型

● 一个普通的电商导购站，单日 AI 爬虫请求量接近 20 万次

● 一个技术教程站，单日接近 19 万次

● 一个小说站，单日接近 18 万次

这些不是什么大型互联网平台——就是个人站、小团队的站。而且 AI 爬虫不执行 JavaScript，不会出现在 Google Analytics 或百度统计里。你在数据面板上看不到它们，但你的服务器带宽和算力在真实消耗。

一、先确认：你的站到底有没有被 AI 爬虫抓

在做任何配置之前，先看一眼数据。EdgeOne 控制台的「数据分析」→「指标分析」可以直接看到 Bot 流量的分布。

操作步骤

1. 登录 EdgeOne 控制台

2. 在左侧导航栏选择你的站点

3. 进入「数据分析」→「指标分析」

4. 在页面上方筛选你要查看的域名和时间范围（建议先看最近 7 天）

5. 关注以下几个维度：

● 请求量趋势：如果请求量远超你的实际用户量，大概率有 Bot

● 客户端类型分布：观察 Bot 类请求的占比

● UA（User-Agent）分布：AI 爬虫通常带有特定的 UA 标识，如 GPTBot、ClaudeBot、Bytespider、CCBot 等

怎么判断

> 💡 Tip： 如果你发现 Bot 请求占比不低，但在之前的流量统计中从来没注意到——这就对了，因为 AI 爬虫对你的前端统计是"隐身"的。

二、核心操作：一键开启 AI 爬虫处置

确认有 AI 爬虫活动后，接下来开启防护。

2.1 找到配置入口

完整路径：

> 控制台 → 选择站点 →「安全防护」→「Web 防护」→ 顶部切换到目标域名的域名级防护策略 → 「Bot 管理」→「基础 Bot 管理」」→「AI 爬虫处置」

2.2 开启 AI 爬虫

开启「AI 爬虫处置」，再根据网站情况自行选择处置方式

如果你有不同的网站类型，可以参考以下策略

> ⚠️ 重要提醒：

> - AI 爬虫处置不影响百度蜘蛛、Googlebot 等搜索引擎爬虫——你的 SEO 不会受到任何影响

> - 特征库覆盖 20+ 种主流 AI 爬虫，且持续更新

> - 所有套餐（含免费版）都能用这个功能

立即配置

2.3 验证配置生效

配置完成后，验证方式：

1. 回到「数据分析」→「指标分析」

2. 筛选配置后的时间段

3. 观察 Bot 请求量的变化趋势

> 💡 Tip： 建议先用「观察」模式运行 1-3 天，确认识别范围符合预期后再切换为「拦截」。这样可以避免误伤。

三、完整威胁数据

本文的操作教程基于《腾讯云 2025 年 DDoS 与应用安全威胁趋势报告》中的数据背景。完整报告还包含：

● 📊 DDoS 攻击全年趋势——攻击峰值突破 4 Tbps，同比增长近 3 倍

● 📊 HTTP/S 应用层攻击模式转变——从小规模试探到超大规模集中爆发

● 📊 Bot 与 AI 爬虫威胁全景——流量占比、行业对比、技术演进

● 📊 各行业安全威胁对比——游戏、电商、内容、政务等行业的差异化分析

● 📊 EdgeOne 完整安全防护方案

报告以长图形式呈现，包含数十张数据图表和行业深度分析。

👉免费获取完整报告

EdgeOne AI 爬虫处置可以解决"已知 AI 爬虫"的问题。但你的站可能还面临其他安全威胁——异常高频访问、恶意扫描、CC 攻击试探等。具体解决方案请查看《EdgeOne 站点安全加固指南：从指标分析到自定义规则，手把手配置》