首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >接口被爬:数据不是被拷走的,是被「正常请求」拉走的

接口被爬:数据不是被拷走的,是被「正常请求」拉走的

原创
作者头像
Ping64-办公安全一体化平台
发布于 2026-11-19 11:20:55
发布于 2026-11-19 11:20:55
190
举报

先看一个用于说明风险的假设场景:凌晨三点,一家企业数据服务公司的运维在群里发了张截图,某个账号在 40 分钟里请求了 12 万次详情接口。

这个账号是真的,实名认证过,付过费,调用方式也符合接口文档。风控没有报错,网关没有拦截,因为现有规则只检查了身份和单次请求,没有判断累计获取的数据范围。

第二天核对发现:这 12 万次请求对应的是 8.7 万条企业信息,覆盖了数据库里将近四分之一的存量。

一、为什么接口也成了数据出口

除了 U 盘和邮件,接口也是需要关注的数据出口。越来越多业务通过 API 向前端或合作系统提供数据,一次 GET 就可能返回一条完整记录,还带着结构化字段。

导出功能反而好管——有按钮、有审批、有日志、有明确的使用场景。接口调用不好管,因为它可能和正常业务长一模一样。

看似正常的拉取方式

表面特征

潜在风险

分布式爬虫

多 IP、各自低频、常见 UA

累计获取大量数据

对象级越权(改 id)

单账号、正常频率

在授权缺失时访问他人数据

批量查询接口

一次传入大量 id

放大枚举和数据提取规模

单请求多字段(GraphQL)

一次请求组合多个字段或对象

授权和查询限制不足时过量暴露数据

导出接口翻页

带有效 token 连续调用

超出业务需要的累计提取

合作伙伴密钥外借

允许的 IP 内发起调用

实际使用者偏离授权对象

二、三个最常见的洞,和它们为什么反复出现

对象级授权缺失。 列表接口做了权限校验,详情接口忘了。用户 A 把 URL 里的 id 改成 B 的,就能看到 B 的数据。这类问题被列入 OWASP 2023 API 安全风险清单。每个访问对象的接口都需要校验调用者对该对象及操作的权限,只验证「登录过了」并不够。

权限只做在前端。 菜单藏起来、按钮置灰,接口没有对应的权限校验。直接请求接口,就可能绕过页面限制。

长期共享密钥写在客户端里。 App 里反编译出来一个 AppSecret,或者 JS 里一个固定的共享 token。拿到这些凭据后,就可能冒用原本的调用身份。

还有一个不算授权漏洞、但可能降低枚举成本的因素:自增主键。id 是 1001、1002、1003,下一条记录很容易猜到。使用随机、难预测的标识,可以增加猜测成本;但 ID 不连续并不等于不可预测。即使使用随机 UUID,服务端仍须检查访问权限。

三、怎么发现:看「量」,也看「形」

单看 QPS 不够,爬取程序可以把频率压到阈值以下。要几个维度一起看,并结合账号用途建立基线:

指标

正常业务参考

需要进一步核查的特征

单账号日请求量

与历史使用量、业务额度相符

突然增长或持续偏离约定范围

对象访问分布

与查询目的和业务流程相符

连续遍历、覆盖大量无关联对象

去重后的对象覆盖量

在合理范围内重复或新增访问

短期内不断获取新对象,覆盖面快速扩大

时段分布

与人工操作或定时任务相符

出现无法解释的持续访问

UA / 设备特征

与已知客户端相符

短时频繁变化,或与其他记录矛盾

引用来源

与浏览器访问或系统对接方式相符

交互流程与预期不符,需结合其他信号判断

对象访问分布可以提供线索。真人浏览可能围绕少量相关记录展开,批量获取则可能持续扩大覆盖范围。但自动对账、数据同步同样会批量访问;缺少 Referer、夜间运行或请求量大,都不能单独作为爬虫结论。

如果排查涉及内部人员,还可将接口日志与受管终端上的文件操作审计记录对照,按时间、终端和路径核对已采集的复制、移动等行为。这些记录只能补充文件落地后的线索,不能替代服务端调用日志。

四、限流不是万能的

限流能压低单个来源的调用速度,但只按 IP 判断,可能漏掉分散来源、多个账号共同获取数据的情况。

所以策略要分两层:入口层限制消耗,业务层约束获取范围。

  • 入口层:结合 IP、账号、租户等维度限制速率和累计额度,根据异常程度采取降速、补充验证或拒绝请求。
  • 业务层:为批量获取设置明确边界——分页上限、字段白名单、单次查询条数上限,以及需要时采用异步导出(提交任务、审核范围、提供受控下载)。

异步导出便于集中核验大批量交付。单纯「等两小时」不能阻止爬取,关键仍是审核范围、控制累计数量,以及对下载环节继续鉴权。审批通过不代表下载链接可以任意转发。

导出文件进入受管终端后,可用敏感文件扫描辅助检查内容,再按文件类型、敏感内容和外发途径设置相应规则。这类文件外发管控补充的是落地后的保护,适用范围取决于实际部署和支持的通道,不能用来补救接口本身的越权。

但要注意处置的顺序。直接给所有异常请求上验证码,最先受影响的可能是正常用户——尤其是用脚本做比价、对账、ERP 对接的客户。合理的做法是区分风险程度:轻度记录并观察,中度补充核验,重度限制或拒绝。机器对接应有适合它的验证方式,获准的例外也应明确范围和有效期。

五、一个被低估的手段:水印字段

在业务允许的情况下,可以为不同租户或合作方交付的数据加入可区分的标记。数据流出后,如果样本仍保留标记,可以与交付记录对照,辅助缩小来源范围。

实施上有两个坑。第一,标记不能破坏业务正确性,不宜随意向生产数据中掺入假记录,更不能污染财务、客户档案或自动决策所依赖的字段。第二,标记可能在清洗、字段裁剪或重新导出时被移除;隐藏字段也不等于不可发现、不可删除。设计时要记录标记与交付对象、批次的对应关系,并测试正常处理后是否仍能识别。

水印提供的是追查线索,不能阻止访问,也不能仅凭一个标记认定责任人。还要结合调用、交付及后续处理记录判断。

六、开放平台是另一个边界

给合作伙伴的 Open API,问题往往不只在技术,也在治理:

  • 密钥有没有轮换机制,还是三年前发出去就没动过
  • IP 白名单是「合作方机房」,还是「0.0.0.0/0」
  • 授权范围是「按需最小」,还是「先给全量,以后再收」
  • 合作终止后,密钥多久失效

最后一条最容易被忽略。合同结束了,密钥还在,接口还能调;对接人员变动后,如果没有明确的回收责任和核对记录,这类遗留权限就可能长期存在。


回到开头的假设场景,可以先检查四件事:详情接口是否落实对象级授权,批量查询是否有合理边界,导出是否经过必要的范围核验,以及需要追查时是否保留了可关联的调用与交付记录。

接口设计需要兼顾易用性。安全要做的,是在不妨碍合理调用的前提下,识别并限制超出授权或业务约定的数据获取,而不只是增加等待时间。

接口好用与数据受控并不矛盾,关键是把谁能取、能取什么、能取多少,落实到服务端可以执行和复核的规则中。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、为什么接口也成了数据出口
  • 二、三个最常见的洞,和它们为什么反复出现
  • 三、怎么发现:看「量」,也看「形」
  • 四、限流不是万能的
  • 五、一个被低估的手段:水印字段
  • 六、开放平台是另一个边界
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档