有奖捉虫:行业应用 & 管理与支持文档专题 HOT

功能介绍

通过 BOT 与业务安全,用户可以在 BOT 管理中开启并配置对应模块内容,并结合 BOT 流量分析与访问日志进行观察和分析。根据流量分析提供的会话状态信息进行精细化策略设置,保护网站核心接口和业务免受 BOT 侵害。
BOT 管理设置支持配置客户端风险识别(前端对抗)、威胁情报、AI 评估、智能统计、动作分数、自定义规则、Token 会话配置、合法爬虫模块,通过配置这些模块,实现对 BOT 的精细化管理。



前提条件

BOT 流量管理需要购买 WAF 对应实例的扩展包
说明
WAF 企业版、旗舰版用户当前可免费试用新版本的 BOT 流量管理功能,以观察网站受 BOT 影响的情况。
已在 BOT 与业务安全页面,选择需要防护的域名,并开启 BOT 流量开关。



客户端风险识别(前端对抗)

客户端风险识别功能通过客户端动态安全验证技术,对业务请求的每个客户端生成唯一 ID,检测客户端对 Web 或 H5页面访问中可能存在机器人和恶意爬虫行为,保护网站业务安全。
说明
本功能不支持 CLB-WAF,泛域名,以及 App/小程序,只适用于 Web 或 H5页面,如果有非动态认证,自动化接口脚本需要优先加入白名单。

添加白名单

添加白名单主要用于对不需要进行设置的接口放行处理。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击前端对抗模块的前往配置
4. 在前端对抗页面,单击添加规则,弹出添加白名单规则窗口。


5. 在添加白名单规则窗口中,配置相关参数,单击确定即可。



案例一:大量机器自动化脚本请求服务

有大量机器自动化脚本请求服务,禁止类似 CURL,SOAPUI、JMETER、POSTMAN 访问请求。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击前端对抗模块的前往配置
4. 在前端对抗页面,单击编辑添加防护路径,单击确定
说明
指定需要进行防护的路径,匹配方式为前缀匹配,如果配置为:/bot/ ,表示对 bot 目录防护。支持配置多条路径,最多支持5条。



5. 单击自动化工具识别的

,防护模式选择拦截,确认白名单后,单击开关处的

,开启前端对抗功能。


6. 使用 CURL、SELENIUM、POSTMAN 请求结果分别如下所示:







案例二:禁止网页调试

禁止用户打开网页调试,避免针对性爬虫编写。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击前端对抗模块的前往配置
4. 在前端对抗页面,单击编辑添加防护路径,单击确定
说明
指定需要进行防护的路径,匹配方式为前缀匹配,如果配置为:/bot/ ,表示对 bot 目录防护。支持配置多条路径,最多支持5条。



5. 单击页面防调试的

,防护模式选择拦截,确认白名单后,单击开关处的

,开启前端对抗功能。


6. 使用 Chrome 请求结果如下所示:



威胁情报

威胁情报功能依托腾讯近二十年的网络安全经验和大数据情报,将通过实时判定 IP 状态,采取打分机制,量化风险值,精准识别来自恶意动态 IP、IDC 的访问,同时智能识别恶意爬虫特征,解决来自恶意爬虫、分布式爬虫、代理、撞库、薅羊毛等风险访问。
说明
开启威胁情报功能时需要确认业务是否有 IDC 侧的用户访问,确认业务有 IDC 流量访问时,需要先关闭 ID 后,再开启威胁情报功能。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击威胁情报模块的前往配置
4. 在威胁情报页面,如果有 IDC 流量访问,单击 IDC 网络的一键关闭,关闭功能。


5. 如果没有 IDC 流量访问,在 BOT 管理页面,单击威胁情报模块的

,直接开启威胁情报功能即可。



AI 评估

AI 评估功能基于人工智能技术和腾讯风控实战沉淀,将风控特征和黑灰产对抗经验转化为 AI 评估模型,通过访问流量进行大数据分析与 AI 建模,实现快速识别恶意访问者、深层次恶意访问者,解决来自高级持续性威胁 BOT、隐蔽性威胁 BOT 的风险访问行为。
说明
AI 评估是根据 AI 建模自动学习,可直接开启;如果有误评估,将对相应 URL 加白即可。

开启 AI 评估

1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击 AI 评估模块的

,开启 AI 评估功能。



添加白名单

背景信息

在 AI 评估页面,该请求为正常请求,但是被 AI 误报。



操作步骤

1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击 AI 评估模块的前往配置
4. 在 AI 评估页面,单击添加白名单,输入名称、描述和加白 URL,单击确定



智能统计

智能统计功能基于大数据分析统计,根据用户群体的流量特征自动分类,自动识别存在异常的恶意流量,通过大数据分析,自动调整恶意流量阈值,解决来自常规 BOT、高频 BOT 的风险访问,并通过自动调整统计模型,解决大部分的 BOT 行为绕过问题。
说明
可直接开启智能统计,推荐使用智能模式。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击智能统计模块的

,开启智能统计功能。



动作设置

动作设置功能通过威胁情报、AI 评估、智能统计对网站的访问请求进行综合性打分。打分范围在0-100分范围内,分数越高 BOT 的可能性越高、其访问对网站产生的危害/压力则越大。通过分数智能识别访问行为的风险程度,用户可根据配置不同分数段的动作,实现风险访问的精准拦截。

背景信息

当威胁情报,AI 评估以及智能统计标记出了大量流量,默认配置无法做到更加详细的拦截,需要自定义动作如何分析配置。

操作步骤

1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择 BOT 流量分析
2. 在 BOT流量分析页面,左上角选择需要防护的域名,选择所需访问源,单击查看详情


3. 在 BOT 流量详情页面的基础会话信息模块,查看城市和 IP 地区。


4. 当业务没有该地区的流量时,则表明此处评分为异常,可以自定义动作设置,进行一个更加细化的设置。
5. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


6. 在 BOT 管理页面,单击动作设置模块的配置动作得分
7. 在动作得分页面,配置相关参数,单击立即发布


参数说明:
模式设置: 提供宽松模式、中等模式、严格模式、自定义模式这四种默认处置模式,宽松、中等、严格这三种模式为预设模式,分别代表 BOT 流量管理针对不同危害程度的 BOT 的推荐分类及处置策略。这三种预设模式可进行修改,修改后为自定义模式。
分数段设置:分数段区间总分数为 0-100 分,每个分数段总共可以添加10条,配置的分数区间范围左闭右开,分数段不可重合,分数区间可设置为空,设置为空时,空的分数段不处置动作。
动作设置:可设置为信任、监控、重定向(重定向至特定网站 URL)、人机识别(验证码)或拦截。
标签设置:可设置为友好 BOT、恶意 BOT、正常流量或疑似 BOT。
友好 BOT:为默认对网站友好/合法的 BOT。
疑似 BOT:为识别出该访问源流量疑似 BOT,但无法判断其对网站的是否有害。
正常流量:为人为访问的流量为正常人类。
恶意 BOT:为对网站产生恶意流量/访问请求不友好的 BOT。

Token 管理

用户可通过配置该功能,配置会话 Token 所在的位置,实现在同一 IP 下区分识别不同用户的访问行为,实现不影响其他用户的情况下,精准处置存在异常访问行为的用户。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击会话管理模块的前往配置


4. 在会话管理页面,单击添加配置,配置相关参数,单击确定


参数说明:
Token 名称:自定义名称,最多128个字符。
Token 描述:自定义描述,最多128个字符。
Token 位置:可选择 HEADER、COOKIE、GET 或 POST,其中 GET 或 POST 是指 HTTP 请求内容参数,非 HTTP 头部信息。
Token 标识:取值标识。

合法爬虫

通过配置合法爬虫(如:搜索引擎、订阅机器人)可以正常获取网站数据,使网站可以正常被索引。
1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击合法爬虫模块的前往配置


4. 在合法爬虫页面,可单击

,开启对应功能。



自定义规则

通过配置自定义规则功能,可精准处置符合行为配置的爬虫,精准处置对应特征的访问特征请求。
说明
本功能主要分析数据来源于 BOT 流量分析
该内容只做使用分析参考,不能当做业务标准配置,网络爬虫分为很多种,基本都是随着业务类型而变。

案例详情

目前已经无法通过动作得分进行拦截,需要对异常行为特征进行设置,在 BOT 流量分析进行查看出大概异常后,单击详情,可查看异常数据指标,并结合实际业务情况进行对比。
例如:URL 重复性是1,会话次数100次/分钟,UA 滥用等,就需要结合业务是否有访问相同的请求或者是代理等业务,如果没有就说明有人恶意攻击。那么就可以根据以下方式查看并配置拦截策略。

分析案例

1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择BOT 流量分析
2. 在 BOT流量分析页面,左上角选择需要防护的域名,选择所需访问源,目前根据展示,能看到该 IP 请求速度很快,URL 单一,并且是 IDC 类。


3. 单击查看详情,通过基础会话信息可以看出,会话速度平均次数,总次数。也可以直接根据该条件进行设置。


4. 在威胁情报页面,可以根据情报数据判断该 IP 是否有正常用户使用过。


5. 在请求特征信息页面,可以查看请求详情。



策略配置

1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择配置中心 > BOT 与业务安全
2. 在 BOT 与业务安全页面,左上角选择需要防护的域名,单击 BOT 管理


3. 在 BOT 管理页面,单击自定义规则模块的前往配置
4. 在自定义规则页面,单击添加配置,根据上述分析,将设置 URL 重复比大于0.7(70%在这过程中,除该数据外没有大于70%的),将会话速度设置为大于500次/分钟,单击确定