首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >一条规则写反,我把自己整站挡在爬虫外面|数据鱼API

一条规则写反,我把自己整站挡在爬虫外面|数据鱼API

原创
作者头像
用户12862874
发布于 2026-11-19 20:51:15
发布于 2026-11-19 20:51:15
190
举报

这件事我认。三周前改 robots.txt,我只动了一行,把给测试环境写的一整段复制到了生产,开头是 Disallow: /,后面跟着一串 Allow。我以为后面的 Allow 会盖住前面,结果没有。三周后老板把流量曲线摔在我桌上,自然搜索少了四成,我才想起去翻那份文件。

下面用数据鱼API的「robots.txt 校验工具」当例子。它不需要部署,把文件内容、UA 和路径丢进去,返回放行与否以及命中的是哪条规则。

让我最生气的不是写错,是没人拦

写错是常态,我认。真正让我上火的是整条链路上没有一个人能拦住它:编辑器不会报警,代码评审没人看这份文件,上线脚本只会推文件不会验证,监控只盯 200 和 5xx。robots.txt 出问题,服务器一点异常都没有,它只是安静地让爬虫别来。

更荒唐的是,那份文件在测试环境跑了两周,一切正常。因为测试环境的域名本来就没收录,爬虫来不来都看不出差别。规则是对的还是错的,在那里根本验证不出来。

校验工具能做的就一件事

我后来用数据鱼这个工具的 check 端点,把「某段规则 + 某个 UA + 某条路径」的判定单独拎出来跑。参数三个:robots 放文件全文,ua 放爬虫标识,path 放要访问的路径。返回里 allowed 是布尔值,rule 告诉你到底命中了哪一条。

代码语言:javascript
复制
POST /api/robots-tool/check

拿最典型的那个场景试一次:文件里先写 Disallow: /admin,后面跟一条 Allow: /admin/public,UA 传 *,路径取 /admin/public/list,返回 allowed 为 true。命中的是一条具体规则时,rule 会把那一行回给你,没命中就为空。这个 rule 字段是整个工具里最有用的部分。只看真假,你永远不知道为什么;看到命中的那一行,才知道是该改规则还是该改用例。

我把这套东西做成了一个小脚本,读一份用例表,逐条请求,断言 allowed 和期望值一致。二十条用例跑完不到五秒,可以塞进发布流水线当一道闸。

用例

路径

期望

说明

首页

/

允许

写错一次就丢整站

商品页

/item/10086

允许

主要落地页

后台

/admin

禁止

安全底线

后台公开页

/admin/public

允许

Allow 覆盖 Disallow 的典型场景

接口

/api/

禁止

别让爬虫打接口

搜索页

/search?q=x

禁止

防重复内容

地图文件

/sitemap.xml

允许

顺手验 sitemap 路径

三个我踩过的坑

头一个是把 Disallow 写成 Disallow: / 加一长串例外。这种写法要求你对「更长的前缀优先」这条规则有十足把握,而我们组的评审根本没人记得这条。后来改成默认全开、只封具体路径,出错的面积立刻小了一个量级。

第二个是通配符。/item/*?ref= 这类写法,不同爬虫的实现差别不小。我拿数据鱼这个接口跑过几组,同一个路径在不同 UA 下结论确实会不一样。所以用例表里,我固定用 * 和主流的几个 UA 各跑一遍,不靠脑补。

第三个是把 sitemap 的地址写在规则里,路径却少了个斜杠。这个问题最阴,因为 robots.txt 语法完全合法,工具也判它合规,只是那个地址 404 了。所以我的用例表里专门留了一条,去请求 sitemap 那一行写的地址,看是不是 200。

现在的上线流程

改之前的规矩是这样的:任何对 robots.txt 的改动都走一次用例表,二十条全绿才算过。改动必须附一条「为什么改」,写清预期影响哪类页面。发布后一小时,把线上的文件拉下来再跑一遍用例,确认线上和生产分支一致。

这套流程听上去笨,但它拦下过两次事故:一次是把 Disallow: / 从测试分支合进来,一次是 sitemap 域名写成了旧域名。两次都是用例表先报的警,人还没反应过来。

最后说一句不好听但必须说的:robots.txt 只是给守规矩的爬虫看的约定,不是权限控制。后台该有登录还得有登录,接口该限流还得限流。数据鱼这个校验工具解决的是「我写的规则是不是我以为的意思」,不是「我的站安全不安全」,这两件事别混在一起。

以上参数与返回字段说明,整理自数据鱼API「robots.txt 校验工具」接口的公开文档;文中域名与用例为虚构示例,请按自己站点替换。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 让我最生气的不是写错,是没人拦
  • 校验工具能做的就一件事
  • 三个我踩过的坑
  • 现在的上线流程
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档