文档中心>微服务引擎 TSE>云原生 API 网关>实践教程>认证鉴权>使用 Bot Detection 插件拒绝爬虫请求

使用 Bot Detection 插件拒绝爬虫请求

最近更新时间:2023-12-07 18:10:22

我的收藏

操作场景

本文介绍如何在 Kong 云原生 API 网关上通过 Kong Bot Detection 插件屏蔽爬虫访问。 Bot Detection插件通过检查HTTP请求中User Agent字段,识别发起请求的用户代理软件信息,拒绝爬虫请求。该插件内置了一些基础的校验规则用于校验请求,您可以参见 爬虫示例 定义爬虫请求。

前置条件

已购买 Kong 网关实例,详情请参见 实例管理
配置了后端(Service)以及路由(Route)。

插件配置

字段名称
字段说明
allow
使用正则表达式定义允许放行的 User-Agent 列表。
deny
使用正则表达式定义拒绝放行的 User-Agent 列表。

操作步骤

1. 登录 TSE 控制台,进入需要配置限流插件的 Kong 网关实例详情页,在 Konga 控制台页面查看管理控制台登录方式。



2. 登录 Konga 管理控制台,进入需要反爬虫的 Route 详情页,单击 Add Plugin,在插件市场的 Security 分组中选择 Bot Detection 插件,单击 Add Plugin



3. 插件配置中使用正则表达式填写需要配置限制的代理信息,例如,拒绝来自 Firefox 的爬虫请求,在 deny 中配置 [".*Firefox.*"],单击 enter 键。



4. 使用火狐浏览器发起 API 请求,由于请求头带有 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:106.0) Gecko/20100101 Firefox/106.0,请求被拒绝。




参考

更多相关说明请参见 Kong Bot Detection 插件官方文档