先看一个用于说明风险的假设场景:凌晨三点,一家企业数据服务公司的运维在群里发了张截图,某个账号在 40 分钟里请求了 12 万次详情接口。
这个账号是真的,实名认证过,付过费,调用方式也符合接口文档。风控没有报错,网关没有拦截,因为现有规则只检查了身份和单次请求,没有判断累计获取的数据范围。
第二天核对发现:这 12 万次请求对应的是 8.7 万条企业信息,覆盖了数据库里将近四分之一的存量。
除了 U 盘和邮件,接口也是需要关注的数据出口。越来越多业务通过 API 向前端或合作系统提供数据,一次 GET 就可能返回一条完整记录,还带着结构化字段。
导出功能反而好管——有按钮、有审批、有日志、有明确的使用场景。接口调用不好管,因为它可能和正常业务长一模一样。
看似正常的拉取方式 | 表面特征 | 潜在风险 |
|---|---|---|
分布式爬虫 | 多 IP、各自低频、常见 UA | 累计获取大量数据 |
对象级越权(改 id) | 单账号、正常频率 | 在授权缺失时访问他人数据 |
批量查询接口 | 一次传入大量 id | 放大枚举和数据提取规模 |
单请求多字段(GraphQL) | 一次请求组合多个字段或对象 | 授权和查询限制不足时过量暴露数据 |
导出接口翻页 | 带有效 token 连续调用 | 超出业务需要的累计提取 |
合作伙伴密钥外借 | 允许的 IP 内发起调用 | 实际使用者偏离授权对象 |
对象级授权缺失。 列表接口做了权限校验,详情接口忘了。用户 A 把 URL 里的 id 改成 B 的,就能看到 B 的数据。这类问题被列入 OWASP 2023 API 安全风险清单。每个访问对象的接口都需要校验调用者对该对象及操作的权限,只验证「登录过了」并不够。
权限只做在前端。 菜单藏起来、按钮置灰,接口没有对应的权限校验。直接请求接口,就可能绕过页面限制。
长期共享密钥写在客户端里。 App 里反编译出来一个 AppSecret,或者 JS 里一个固定的共享 token。拿到这些凭据后,就可能冒用原本的调用身份。
还有一个不算授权漏洞、但可能降低枚举成本的因素:自增主键。id 是 1001、1002、1003,下一条记录很容易猜到。使用随机、难预测的标识,可以增加猜测成本;但 ID 不连续并不等于不可预测。即使使用随机 UUID,服务端仍须检查访问权限。
单看 QPS 不够,爬取程序可以把频率压到阈值以下。要几个维度一起看,并结合账号用途建立基线:
指标 | 正常业务参考 | 需要进一步核查的特征 |
|---|---|---|
单账号日请求量 | 与历史使用量、业务额度相符 | 突然增长或持续偏离约定范围 |
对象访问分布 | 与查询目的和业务流程相符 | 连续遍历、覆盖大量无关联对象 |
去重后的对象覆盖量 | 在合理范围内重复或新增访问 | 短期内不断获取新对象,覆盖面快速扩大 |
时段分布 | 与人工操作或定时任务相符 | 出现无法解释的持续访问 |
UA / 设备特征 | 与已知客户端相符 | 短时频繁变化,或与其他记录矛盾 |
引用来源 | 与浏览器访问或系统对接方式相符 | 交互流程与预期不符,需结合其他信号判断 |
对象访问分布可以提供线索。真人浏览可能围绕少量相关记录展开,批量获取则可能持续扩大覆盖范围。但自动对账、数据同步同样会批量访问;缺少 Referer、夜间运行或请求量大,都不能单独作为爬虫结论。
如果排查涉及内部人员,还可将接口日志与受管终端上的文件操作审计记录对照,按时间、终端和路径核对已采集的复制、移动等行为。这些记录只能补充文件落地后的线索,不能替代服务端调用日志。
限流能压低单个来源的调用速度,但只按 IP 判断,可能漏掉分散来源、多个账号共同获取数据的情况。
所以策略要分两层:入口层限制消耗,业务层约束获取范围。
异步导出便于集中核验大批量交付。单纯「等两小时」不能阻止爬取,关键仍是审核范围、控制累计数量,以及对下载环节继续鉴权。审批通过不代表下载链接可以任意转发。
导出文件进入受管终端后,可用敏感文件扫描辅助检查内容,再按文件类型、敏感内容和外发途径设置相应规则。这类文件外发管控补充的是落地后的保护,适用范围取决于实际部署和支持的通道,不能用来补救接口本身的越权。
但要注意处置的顺序。直接给所有异常请求上验证码,最先受影响的可能是正常用户——尤其是用脚本做比价、对账、ERP 对接的客户。合理的做法是区分风险程度:轻度记录并观察,中度补充核验,重度限制或拒绝。机器对接应有适合它的验证方式,获准的例外也应明确范围和有效期。
在业务允许的情况下,可以为不同租户或合作方交付的数据加入可区分的标记。数据流出后,如果样本仍保留标记,可以与交付记录对照,辅助缩小来源范围。
实施上有两个坑。第一,标记不能破坏业务正确性,不宜随意向生产数据中掺入假记录,更不能污染财务、客户档案或自动决策所依赖的字段。第二,标记可能在清洗、字段裁剪或重新导出时被移除;隐藏字段也不等于不可发现、不可删除。设计时要记录标记与交付对象、批次的对应关系,并测试正常处理后是否仍能识别。
水印提供的是追查线索,不能阻止访问,也不能仅凭一个标记认定责任人。还要结合调用、交付及后续处理记录判断。
给合作伙伴的 Open API,问题往往不只在技术,也在治理:
最后一条最容易被忽略。合同结束了,密钥还在,接口还能调;对接人员变动后,如果没有明确的回收责任和核对记录,这类遗留权限就可能长期存在。
回到开头的假设场景,可以先检查四件事:详情接口是否落实对象级授权,批量查询是否有合理边界,导出是否经过必要的范围核验,以及需要追查时是否保留了可关联的调用与交付记录。
接口设计需要兼顾易用性。安全要做的,是在不妨碍合理调用的前提下,识别并限制超出授权或业务约定的数据获取,而不只是增加等待时间。
接口好用与数据受控并不矛盾,关键是把谁能取、能取什么、能取多少,落实到服务端可以执行和复核的规则中。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。