这件事我认。三周前改 robots.txt,我只动了一行,把给测试环境写的一整段复制到了生产,开头是 Disallow: /,后面跟着一串 Allow。我以为后面的 Allow 会盖住前面,结果没有。三周后老板把流量曲线摔在我桌上,自然搜索少了四成,我才想起去翻那份文件。
下面用数据鱼API的「robots.txt 校验工具」当例子。它不需要部署,把文件内容、UA 和路径丢进去,返回放行与否以及命中的是哪条规则。
写错是常态,我认。真正让我上火的是整条链路上没有一个人能拦住它:编辑器不会报警,代码评审没人看这份文件,上线脚本只会推文件不会验证,监控只盯 200 和 5xx。robots.txt 出问题,服务器一点异常都没有,它只是安静地让爬虫别来。
更荒唐的是,那份文件在测试环境跑了两周,一切正常。因为测试环境的域名本来就没收录,爬虫来不来都看不出差别。规则是对的还是错的,在那里根本验证不出来。
我后来用数据鱼这个工具的 check 端点,把「某段规则 + 某个 UA + 某条路径」的判定单独拎出来跑。参数三个:robots 放文件全文,ua 放爬虫标识,path 放要访问的路径。返回里 allowed 是布尔值,rule 告诉你到底命中了哪一条。
POST /api/robots-tool/check拿最典型的那个场景试一次:文件里先写 Disallow: /admin,后面跟一条 Allow: /admin/public,UA 传 *,路径取 /admin/public/list,返回 allowed 为 true。命中的是一条具体规则时,rule 会把那一行回给你,没命中就为空。这个 rule 字段是整个工具里最有用的部分。只看真假,你永远不知道为什么;看到命中的那一行,才知道是该改规则还是该改用例。
我把这套东西做成了一个小脚本,读一份用例表,逐条请求,断言 allowed 和期望值一致。二十条用例跑完不到五秒,可以塞进发布流水线当一道闸。
用例 | 路径 | 期望 | 说明 |
|---|---|---|---|
首页 | / | 允许 | 写错一次就丢整站 |
商品页 | /item/10086 | 允许 | 主要落地页 |
后台 | /admin | 禁止 | 安全底线 |
后台公开页 | /admin/public | 允许 | Allow 覆盖 Disallow 的典型场景 |
接口 | /api/ | 禁止 | 别让爬虫打接口 |
搜索页 | /search?q=x | 禁止 | 防重复内容 |
地图文件 | /sitemap.xml | 允许 | 顺手验 sitemap 路径 |
头一个是把 Disallow 写成 Disallow: / 加一长串例外。这种写法要求你对「更长的前缀优先」这条规则有十足把握,而我们组的评审根本没人记得这条。后来改成默认全开、只封具体路径,出错的面积立刻小了一个量级。
第二个是通配符。/item/*?ref= 这类写法,不同爬虫的实现差别不小。我拿数据鱼这个接口跑过几组,同一个路径在不同 UA 下结论确实会不一样。所以用例表里,我固定用 * 和主流的几个 UA 各跑一遍,不靠脑补。
第三个是把 sitemap 的地址写在规则里,路径却少了个斜杠。这个问题最阴,因为 robots.txt 语法完全合法,工具也判它合规,只是那个地址 404 了。所以我的用例表里专门留了一条,去请求 sitemap 那一行写的地址,看是不是 200。
改之前的规矩是这样的:任何对 robots.txt 的改动都走一次用例表,二十条全绿才算过。改动必须附一条「为什么改」,写清预期影响哪类页面。发布后一小时,把线上的文件拉下来再跑一遍用例,确认线上和生产分支一致。
这套流程听上去笨,但它拦下过两次事故:一次是把 Disallow: / 从测试分支合进来,一次是 sitemap 域名写成了旧域名。两次都是用例表先报的警,人还没反应过来。
最后说一句不好听但必须说的:robots.txt 只是给守规矩的爬虫看的约定,不是权限控制。后台该有登录还得有登录,接口该限流还得限流。数据鱼这个校验工具解决的是「我写的规则是不是我以为的意思」,不是「我的站安全不安全」,这两件事别混在一起。
以上参数与返回字段说明,整理自数据鱼API「robots.txt 校验工具」接口的公开文档;文中域名与用例为虚构示例,请按自己站点替换。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。