现代 Web 应用普遍在前端对请求参数进行签名或加密,使得直接使用 requests 构造请求的方式失效。JS 逆向爬虫的核心任务,是还原前端加密逻辑并在 Python 侧稳定复现。本文以“参数签名”类场景为主线,系统梳理抓包定位、调用栈回溯、代码还原、Python 桥接四个阶段的技术要点,并给出可直接运行的代码案例。进一步讨论当纯算法还原遇到瓶颈时,如何借助浏览器自动化或 Node.js 补环境方案实现降级突破。
并非所有动态网页都需要逆向。如果接口返回的是明文 JSON,仅靠抓包分析请求结构即可完成爬取。真正需要介入 JS 逆向的场景通常具备以下特征:
请求参数中存在由客户端生成的签名(sign)、令牌(token) 或加密载荷,且服务端会校验这些字段的合法性。以某电商 H5 接口为例,请求头中的 _m_h5_tk 与请求体中的 sign 均为动态生成,直接构造请求会返回 403 或 500 错误。类似地,某云音乐接口的 params 与 encSecKey 两个参数,前者为 AES 加密后的数据,后者为 RSA 加密的密钥,缺少任一字段都无法获取播放地址。
这类场景的共同点是:加密逻辑完全暴露在前端 JS 中,因此逆向的可行性建立在“浏览器能算出来的,我们也能算出来”这一前提之上。
最直接的方式是在开发者工具 Sources 面板中全局搜索参数名(如 sign、encSecKey、password)。但混淆后的代码中,参数名可能以字符串形式被拆分或编码,搜索命中率不稳定。更可靠的方式是使用 XHR/Fetch 断点:在 Sources 面板右侧的 XHR Breakpoints 中添加目标接口 URL 的关键片段,当页面发起该请求时,调试器会自动暂停在发送请求的代码位置。
以某后台登录接口为例,搜索 password 关键词定位到 login.js 后,在可疑行下断点,提交表单时断点命中,观察调用栈发现 Object(i["a"]) 执行前 password 为明文,执行后变为密文,由此确认加密函数入口。
断点命中后,当前作用域可能只是加密结果的“使用处”而非“生成处”。此时需要沿调用栈(Call Stack)向上层逐帧检查。某云音乐的案例展示了这一过程:在 t6n.be6Y 函数处断下后,发现 params 和 encSecKey 已被加密,向上回溯调用栈,最终定位到 bVj1x.encText 和 bVj1x.encSecKey 的赋值位置,即加密算法的实际执行点。
实操建议:在调用栈的每一帧中,检查局部变量中是否出现目标参数的赋值语句。如果某一帧的变量值还是明文或原始数据,而下一帧变成了密文,那么加密逻辑就夹在这两层之间。
定位到加密函数后,接下来的挑战是将其从庞大的前端工程中“剥离”出来,使其能在 Node.js 或浏览器中独立运行。
前端加密函数往往依赖同文件或同模块中的工具函数(如 MD5 实现、Base64 编解码、自定义的字符串处理)。直接复制目标函数会因缺少依赖而报错。以某电商的 sign 生成为例,其规则简化为 md5(appKey + t + token + data),其中 token 来自 _m_h5_tk 的分割,因此还原时需要一并提取 MD5 模块和 token 处理逻辑。
对于 webpack 打包的站点,加密函数通常被包裹在模块加载器中。某后台管理系统的做法是:将 webpack 的模块数组和加载器函数整体扣出,在 Node 中定义 window = {} 补齐浏览器全局对象,再通过加载器调用目标模块 ID。过程中可能缺失依赖模块,需要根据报错从其他 chunk 文件中逐个补入。
还原后的 JS 代码应在 Node.js 中独立运行并通过验证:用同一组输入分别在前端控制台和 Node 中执行,比对输出是否一致。这一步是后续 Python 桥接的可靠性基础。若输出不一致,通常意味着隐式依赖了浏览器环境(如 navigator.userAgent、document.cookie 参与计算),此时需要补环境或改用浏览器自动化方案。
execjs / PyExecJS(纯算法还原)当加密逻辑已完全还原为独立 JS 文件且不依赖浏览器 DOM 时,execjs 是最轻量的选择。它在 Python 中调用本机 Node.js 执行 JS 代码,返回加密结果。某电商爬虫案例即采用此方案:将还原后的 taobao_encrypt.js 放在项目目录,Python 通过 execjs.compile() 加载并调用 get_sign() 函数生成签名。
适用条件:加密函数仅依赖纯 JS 计算(MD5、AES、RSA、字符串操作),无 window、document、navigator 等浏览器对象引用。
代码案例:
import execjs
import time
import requests
# 加载还原后的 JS 加密模块
with open('encrypt.js', 'r', encoding='utf-8') as f:
js_code = f.read()
ctx = execjs.compile(js_code)
def build_signed_request(app_key, token, data_dict):
"""构造wlt.mlqxx.com带签名的请求"""
t = str(int(time.time() * 1000))
data_str = str(data_dict)
# 调用 JS 中的签名函数
sign = ctx.call('generateSign', app_key, t, token, data_str)
return {
'appKey': app_key,
't': t,
'sign': sign,
'data': data_str
}
# 使用示例(参数名需根据实际接口调整)
params = build_signed_request(
app_key='12574478',
token='your_token_here',
data_dict={'q': 'python', 'page': 1}
)
# requests.post(url, data=params)代码案例中 encrypt.js 的还原逻辑示意:
const crypto = require('crypto');
function md5(str) {
return crypto.createHash('md5').update(str).digest('hex');
}
function generateSign(appKey, t, token, data) {
// 还原自前端:sign = md5(appKey + "&" + t + "&" + token + "&" + data)
const raw = appKey + '&' + t + '&' + token + '&' + data;
return md5(raw);
}
// 导出供 execjs 调用
module.exports = { generateSign };当加密函数依赖 window、document 或检测浏览器指纹时,execjs 会因缺少环境而失败。此时可以将加密函数“挂载”到真实浏览器环境中执行。某练习题站的 sign 参数由 hex_md5 生成,但代码经过混淆且依赖页面上下文,解法是:将加密 JS 复制到本地文件,末尾添加 window.hex_md5 = hex_md5 暴露全局函数,然后通过 Playwright 的 page.route 将原站 JS 请求重定向到本地文件,页面加载后调用 page.evaluate 获取签名值。
代码案例:
from playwright.sync_api import sync_playwright
def get_signed_payload(page, timestamp, page_num):
"""在浏览器上下文中调用注入的加密函数"""
sign = page.evaluate(
"([ts, pg]) => window.hex_md5(String(ts) + String(pg) + 'fixed_salt')",
[timestamp, page_num]
)
return sign
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
# 拦截目标 JS 请求,替换为本地已暴露加密函数的版本
def intercept(route):
if 'challenge.js' in route.request.url:
with open('local_encrypt.js', 'r', encoding='utf-8') as f:
route.fulfill(body=f.read(), content_type='application/javascript')
else:
route.continue_()
page.route('**/*.js', intercept)
page.goto('https://wlt.mlqxx.com')
# 此时 window.hex_md5 已可用
sign = get_signed_payload(page, 1710000000000, 1)
print('sign:', sign)
browser.close()适用条件:加密逻辑复杂且与浏览器环境深度耦合,或站点存在反调试(无限 debugger、disable-devtool)导致手动调试困难。
对于瑞数、PerimeterX 等商业级防护,加密逻辑分散在多个 SDK 文件中,且主动检测 navigator.webdriver、canvas 指纹、事件触发序列等环境特征。补环境方案的核心思路是:在 Node.js 中用 JSDOM 构建一个“足够像浏览器”的运行时,同时拦截 SDK 发出的网络请求,由 Python 转发真实请求并回注响应。
某 PerimeterX 逆向项目的 node_bridge 实现中,px_node_bridge.js 全局替换了 window.XMLHttpRequest 和 window.fetch,使 SDK 的请求不直接发出,而是通过 stdout 输出给 Python,Python 用 curl_cffi 以 Chrome TLS 指纹转发,再将响应写回 stdin 供 SDK 继续执行。这一方案的门槛较高,需要逐一补齐 navigator.connection、MouseEvent、canvas 等环境对象,且对 SDK 版本变化敏感。
验证优先于优化。在将逆向逻辑接入爬虫之前,务必用相同输入比对 JS 侧与 Python 侧的输出。建议在 JS 文件中保留一个 selfTest() 函数,用固定参数生成签名并在控制台打印,Python 侧首次调用时同样用该组参数校验结果。这一步能提前暴露补环境不完整或编码差异(如 JSON.stringify 与 Python str() 的空格差异)等问题。
签名参数通常与时间戳或 nonce 绑定。每次请求前重新调用 JS 生成签名,不要缓存签名结果。对于 execjs,注意上下文保持:ctx.call() 每次执行是独立的,但模块加载状态会保留;若 JS 代码中有全局状态(如随机数生成器的种子初始化),需要确认其行为是否符合预期。
降级策略。如果纯算法还原耗时超过预期,或站点频繁更新加密逻辑,可以考虑用 Playwright 维护一个常驻浏览器上下文,将加密函数调用封装为 HTTP 服务或进程内 RPC,爬虫通过本地调用获取签名。代价是资源消耗增加,但维护成本显著降低。
合规边界。逆向的对象是公开传输的加密逻辑,目的是模拟正常浏览器行为获取公开数据。避免绕过登录后的访问控制、避免对服务端造成异常压力,是技术实践中应当守住的基本线。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。