有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

功能概述

许多公开或商业化程序,包括搜索引擎爬虫,具备固定或默认的 User-Agent 头部特征,且有明确的用途。Bot 基础管理规则收录了大部分公开的 Bot 类型特征,您可以对符合这些特征的 Bot 工具直接管理,可以帮助您:
1. 允许搜索引擎爬虫访问,避免误拦截。
2. 识别特定用途的商业化工具,限制其访问。
EdgeOne 会定期更新自动化工具的特征,确保您的策略持续覆盖管控场景。

使用场景

默认情况下,Bot 基础管理策略为未启用状态。当您有以下场景诉求的时候,可以开启并按需调整 Bot 基础管理防护策略:
管控来源于 IDC(数据中心)的请求
大部分 To C 应用的访问来源均来自移动网络、宽带供应商、或教育网等网络,正常请求不会来源于数据中心(IDC)。因此,来自云供应商或者数据中心的请求,多来自于代理或者爬虫。您可以选择管控来源于数据中心(IDC)的请求,对其进行拦截或者 JavaScript 挑战,以缓解恶意访问的风险。
管控合法的具有搜索引擎特征的 Bot 请求
搜索引擎的爬虫是目前少数合法的 Bot 类型之一。为了站点能够区分来源于搜索引擎的合法爬虫,大部分搜索引擎供应商提供了其爬虫引擎使用的网段和 UA 特征。EdgeOne 的搜索引擎特征规则集合了搜索引擎公开的 IP 特征、User-Agent 头部特征、rDNS 解析特征等多种匹配方式。您可以针对搜索引擎特征的 Bot 请求配置为放行,以避免被 Bot 管理策略拦截。
管控来自于商用或开源工具的请求
商业化工具软件或开源工具往往携带了特定的 User-Agent 特征,EdgeOne 根据使用用途对这些自动化工具进行了分类,并定期更新对应的 User-Agent 库。如果您不允许来自这些商业或者开源工具的 Bot 请求,您可以对其进行拦截。

调整基础管理防护策略

例如:当前您的站点 shop.example.com 是一个电商网站,为了避免被用户通过工具的方式来进行下单抢购,需要禁用自动购物车类的 Bot。您可以参照以下步骤操作:
1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,单击站点列表,在站点列表内单击需配置的站点,进入站点详情页面。
2. 在站点详情页面,单击安全防护 > Bot 管理,进入 Bot 管理详情页面。
3. 在 Bot 基础管理设置卡片中,单击设置,进入配置页面。

4. 选择 UA 特征规则,单击右上角详细规则。
5. 在详细规则页中,您可以单独针对指定的规则 ID 修改处置方式;如果您需要批量配置,也可以单击批量配置,批量勾选需要配置的规则 ID后,选择处置方式并应用。
以当前场景为例,您可以对自动购物车机器人,修改处置方式为拦截

6. 单击确定,即可完成修改。