首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >站点地图不是全站目录:只放该被收录的页面|数据鱼API

站点地图不是全站目录:只放该被收录的页面|数据鱼API

原创
作者头像
用户12862874
发布于 2026-11-19 20:54:24
发布于 2026-11-19 20:54:24
90
举报

去年冬天,一个做二手乐器交易的朋友找我救火。站点上线三个月,商品页收录不到两成,他以为是内容不行,打算再写两百篇导购。我让他把 sitemap 导出来看看,四万多条 URL,其中三万七千条是筛选参数页:颜色、成色、价格区间、排序方式,同一把吉他生出了几十个地址。真正的商品详情页,被压在最下面。

sitemap 这件事,先要谈的不是怎么生成,而是哪些地址根本不配进去。

下面拿数据鱼API的「站点地图生成」服务当例子。它的生成端点和 robots 端点放在同一组接口里,正好用来说明:一份能被爬虫读懂的清单,边界该划在哪里。

先划范围:哪些地址有资格进清单

sitemap 不是站点导航,是给爬虫的优先抓取建议。判断标准只有一条:这个地址是否值得被搜索引擎收录。页面本身带 noindex、需要登录才能看、内容与其他页高度重复,都不该出现。

页面类型

是否进 sitemap

原因

商品详情页

进

独立内容,地址稳定

筛选与排序参数页

不进

同一批商品反复组合,内容重复

站内搜索结果页

不进

无固定入口,结果随查询变化

已下架但仍返回 200 的页面

先处理状态码

软 404 持续消耗抓取预算

帮助中心文章

进

有独立标题与正文

这张表不用写进代码,但要在生成前过一遍。数据鱼这个接口的 urls 参数就是清单的入口,漏传时直接返回 4001,错误信息写的是缺少 urls 数组。换句话说,它不接受"先给我生成一份全站地图"这种模糊请求,你得先想清楚哪些地址要。

生成前后,各查一遍这五件事

  1. 抽样看参数:随机抽二十条 URL,确认没有 ?sort=、?page=、?utm_ 这类尾巴。分页可以保留第一页,后面的让爬虫顺着链接自己走。
  2. 统一主机名与斜杠:带不带末尾斜杠、大小写不同的地址,在爬虫眼里是两条记录,先做 301 归一。
  3. 检查状态码:清单里的地址必须返回 200。返回 301 的换成目标地址,返回 404 的直接删掉。
  4. 对照 robots.txt:Sitemap: 行指向的地址要和这份清单一致,别一边生成新地图,一边留着旧路径。
  5. 版本对比:每次重新生成后和上一版 diff,新增多少、消失多少。异常波动往往是改版漏了跳转。

第三条最容易被跳过。很多站点改版后旧地址直接 404,sitemap 却原地不动,爬虫每次来都扑空,几次之后整站的抓取频率都会降。

robots 与 sitemap 应该同源生成

这两份文件经常由两个人维护,一个写规则,一个导清单,最后对不上。数据鱼API的 robots 端点接收 sitemap_url 和 disallow 两个参数,直接返回 text/plain 文本,文档里的示例响应只有 55 字节。短是短,但足够把"哪份地图、哪些目录别抓"讲清楚。把它和生成端点串进同一条发布流水线,比人工复制粘贴可靠。

还有一个常被忽略的点:上游依赖不可用时,这组接口返回 5031 或 5032,不会给你一份看起来正常的假清单。发布脚本要把这类错误当成"本次不更新",而不是"清空重写"。

回到那位朋友。我们砍掉三万条参数页,只留一万出头的有效地址,两周后商品页收录开始回升。sitemap 的价值从来不在全,而在准:每一条都值得抓,爬虫才会信任下一批。

以上生成端点、robots 端点与错误码的说明,整理自数据鱼API「站点地图生成」接口的公开文档;文中站点与数字为演示用的虚构示例,收录情况请以各搜索引擎站长平台的实测数据为准。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 先划范围:哪些地址有资格进清单
  • 生成前后,各查一遍这五件事
  • robots 与 sitemap 应该同源生成
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档