去年冬天,一个做二手乐器交易的朋友找我救火。站点上线三个月,商品页收录不到两成,他以为是内容不行,打算再写两百篇导购。我让他把 sitemap 导出来看看,四万多条 URL,其中三万七千条是筛选参数页:颜色、成色、价格区间、排序方式,同一把吉他生出了几十个地址。真正的商品详情页,被压在最下面。
sitemap 这件事,先要谈的不是怎么生成,而是哪些地址根本不配进去。
下面拿数据鱼API的「站点地图生成」服务当例子。它的生成端点和 robots 端点放在同一组接口里,正好用来说明:一份能被爬虫读懂的清单,边界该划在哪里。
sitemap 不是站点导航,是给爬虫的优先抓取建议。判断标准只有一条:这个地址是否值得被搜索引擎收录。页面本身带 noindex、需要登录才能看、内容与其他页高度重复,都不该出现。
页面类型 | 是否进 sitemap | 原因 |
|---|---|---|
商品详情页 | 进 | 独立内容,地址稳定 |
筛选与排序参数页 | 不进 | 同一批商品反复组合,内容重复 |
站内搜索结果页 | 不进 | 无固定入口,结果随查询变化 |
已下架但仍返回 200 的页面 | 先处理状态码 | 软 404 持续消耗抓取预算 |
帮助中心文章 | 进 | 有独立标题与正文 |
这张表不用写进代码,但要在生成前过一遍。数据鱼这个接口的 urls 参数就是清单的入口,漏传时直接返回 4001,错误信息写的是缺少 urls 数组。换句话说,它不接受"先给我生成一份全站地图"这种模糊请求,你得先想清楚哪些地址要。
?sort=、?page=、?utm_ 这类尾巴。分页可以保留第一页,后面的让爬虫顺着链接自己走。Sitemap: 行指向的地址要和这份清单一致,别一边生成新地图,一边留着旧路径。第三条最容易被跳过。很多站点改版后旧地址直接 404,sitemap 却原地不动,爬虫每次来都扑空,几次之后整站的抓取频率都会降。
这两份文件经常由两个人维护,一个写规则,一个导清单,最后对不上。数据鱼API的 robots 端点接收 sitemap_url 和 disallow 两个参数,直接返回 text/plain 文本,文档里的示例响应只有 55 字节。短是短,但足够把"哪份地图、哪些目录别抓"讲清楚。把它和生成端点串进同一条发布流水线,比人工复制粘贴可靠。
还有一个常被忽略的点:上游依赖不可用时,这组接口返回 5031 或 5032,不会给你一份看起来正常的假清单。发布脚本要把这类错误当成"本次不更新",而不是"清空重写"。
回到那位朋友。我们砍掉三万条参数页,只留一万出头的有效地址,两周后商品页收录开始回升。sitemap 的价值从来不在全,而在准:每一条都值得抓,爬虫才会信任下一批。
以上生成端点、robots 端点与错误码的说明,整理自数据鱼API「站点地图生成」接口的公开文档;文中站点与数字为演示用的虚构示例,收录情况请以各搜索引擎站长平台的实测数据为准。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。