首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Python + JS 逆向爬虫:从加密参数定位到工程化实现

Python + JS 逆向爬虫:从加密参数定位到工程化实现

原创
作者头像
用户12818508
发布于 2026-11-19 11:31:49
发布于 2026-11-19 11:31:49
190
举报

现代 Web 应用普遍在前端对请求参数进行签名或加密,使得直接使用 requests 构造请求的方式失效。JS 逆向爬虫的核心任务,是还原前端加密逻辑并在 Python 侧稳定复现。本文以“参数签名”类场景为主线,系统梳理抓包定位、调用栈回溯、代码还原、Python 桥接四个阶段的技术要点,并给出可直接运行的代码案例。进一步讨论当纯算法还原遇到瓶颈时,如何借助浏览器自动化或 Node.js 补环境方案实现降级突破。


一、问题界定:什么时候需要 JS 逆向

并非所有动态网页都需要逆向。如果接口返回的是明文 JSON,仅靠抓包分析请求结构即可完成爬取。真正需要介入 JS 逆向的场景通常具备以下特征:

请求参数中存在由客户端生成的签名(sign)、令牌(token) 或加密载荷,且服务端会校验这些字段的合法性。以某电商 H5 接口为例,请求头中的 _m_h5_tk 与请求体中的 sign 均为动态生成,直接构造请求会返回 403 或 500 错误。类似地,某云音乐接口的 params 与 encSecKey 两个参数,前者为 AES 加密后的数据,后者为 RSA 加密的密钥,缺少任一字段都无法获取播放地址。

这类场景的共同点是:加密逻辑完全暴露在前端 JS 中,因此逆向的可行性建立在“浏览器能算出来的,我们也能算出来”这一前提之上。


二、定位加密入口:搜索、断点与调用栈回溯

2.1 关键词搜索与 XHR 断点

最直接的方式是在开发者工具 Sources 面板中全局搜索参数名(如 sign、encSecKey、password)。但混淆后的代码中,参数名可能以字符串形式被拆分或编码,搜索命中率不稳定。更可靠的方式是使用 XHR/Fetch 断点:在 Sources 面板右侧的 XHR Breakpoints 中添加目标接口 URL 的关键片段,当页面发起该请求时,调试器会自动暂停在发送请求的代码位置。

以某后台登录接口为例,搜索 password 关键词定位到 login.js 后,在可疑行下断点,提交表单时断点命中,观察调用栈发现 Object(i["a"]) 执行前 password 为明文,执行后变为密文,由此确认加密函数入口。

2.2 调用栈回溯:从结果反推源头

断点命中后,当前作用域可能只是加密结果的“使用处”而非“生成处”。此时需要沿调用栈(Call Stack)向上层逐帧检查。某云音乐的案例展示了这一过程:在 t6n.be6Y 函数处断下后,发现 params 和 encSecKey 已被加密,向上回溯调用栈,最终定位到 bVj1x.encText 和 bVj1x.encSecKey 的赋值位置,即加密算法的实际执行点。

实操建议:在调用栈的每一帧中,检查局部变量中是否出现目标参数的赋值语句。如果某一帧的变量值还是明文或原始数据,而下一帧变成了密文,那么加密逻辑就夹在这两层之间。


三、代码还原:从混淆代码中提取可用逻辑

定位到加密函数后,接下来的挑战是将其从庞大的前端工程中“剥离”出来,使其能在 Node.js 或浏览器中独立运行。

3.1 处理依赖与补环境

前端加密函数往往依赖同文件或同模块中的工具函数(如 MD5 实现、Base64 编解码、自定义的字符串处理)。直接复制目标函数会因缺少依赖而报错。以某电商的 sign 生成为例,其规则简化为 md5(appKey + t + token + data),其中 token 来自 _m_h5_tk 的分割,因此还原时需要一并提取 MD5 模块和 token 处理逻辑。

对于 webpack 打包的站点,加密函数通常被包裹在模块加载器中。某后台管理系统的做法是:将 webpack 的模块数组和加载器函数整体扣出,在 Node 中定义 window = {} 补齐浏览器全局对象,再通过加载器调用目标模块 ID。过程中可能缺失依赖模块,需要根据报错从其他 chunk 文件中逐个补入。

3.2 简化与验证

还原后的 JS 代码应在 Node.js 中独立运行并通过验证:用同一组输入分别在前端控制台和 Node 中执行,比对输出是否一致。这一步是后续 Python 桥接的可靠性基础。若输出不一致,通常意味着隐式依赖了浏览器环境(如 navigator.userAgent、document.cookie 参与计算),此时需要补环境或改用浏览器自动化方案。


四、Python 与 JS 的桥接方案选型

4.1 方案一:execjs / PyExecJS(纯算法还原)

当加密逻辑已完全还原为独立 JS 文件且不依赖浏览器 DOM 时,execjs 是最轻量的选择。它在 Python 中调用本机 Node.js 执行 JS 代码,返回加密结果。某电商爬虫案例即采用此方案:将还原后的 taobao_encrypt.js 放在项目目录,Python 通过 execjs.compile() 加载并调用 get_sign() 函数生成签名。

适用条件:加密函数仅依赖纯 JS 计算(MD5、AES、RSA、字符串操作),无 window、document、navigator 等浏览器对象引用。

代码案例:

代码语言:javascript
复制
import execjs
import time
import requests

# 加载还原后的 JS 加密模块
with open('encrypt.js', 'r', encoding='utf-8') as f:
    js_code = f.read()
ctx = execjs.compile(js_code)

def build_signed_request(app_key, token, data_dict):
    """构造wlt.mlqxx.com带签名的请求"""
    t = str(int(time.time() * 1000))
    data_str = str(data_dict)
    # 调用 JS 中的签名函数
    sign = ctx.call('generateSign', app_key, t, token, data_str)
    return {
        'appKey': app_key,
        't': t,
        'sign': sign,
        'data': data_str
    }

# 使用示例(参数名需根据实际接口调整)
params = build_signed_request(
    app_key='12574478',
    token='your_token_here',
    data_dict={'q': 'python', 'page': 1}
)
# requests.post(url, data=params)

代码案例中 encrypt.js 的还原逻辑示意:

代码语言:javascript
复制
const crypto = require('crypto');

function md5(str) {
    return crypto.createHash('md5').update(str).digest('hex');
}

function generateSign(appKey, t, token, data) {
    // 还原自前端:sign = md5(appKey + "&" + t + "&" + token + "&" + data)
    const raw = appKey + '&' + t + '&' + token + '&' + data;
    return md5(raw);
}

// 导出供 execjs 调用
module.exports = { generateSign };

4.2 方案二:Playwright 注入(应对强依赖浏览器环境的场景)

当加密函数依赖 window、document 或检测浏览器指纹时,execjs 会因缺少环境而失败。此时可以将加密函数“挂载”到真实浏览器环境中执行。某练习题站的 sign 参数由 hex_md5 生成,但代码经过混淆且依赖页面上下文,解法是:将加密 JS 复制到本地文件,末尾添加 window.hex_md5 = hex_md5 暴露全局函数,然后通过 Playwright 的 page.route 将原站 JS 请求重定向到本地文件,页面加载后调用 page.evaluate 获取签名值。

代码案例:

代码语言:javascript
复制
from playwright.sync_api import sync_playwright

def get_signed_payload(page, timestamp, page_num):
    """在浏览器上下文中调用注入的加密函数"""
    sign = page.evaluate(
        "([ts, pg]) => window.hex_md5(String(ts) + String(pg) + 'fixed_salt')",
        [timestamp, page_num]
    )
    return sign

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()

    # 拦截目标 JS 请求,替换为本地已暴露加密函数的版本
    def intercept(route):
        if 'challenge.js' in route.request.url:
            with open('local_encrypt.js', 'r', encoding='utf-8') as f:
                route.fulfill(body=f.read(), content_type='application/javascript')
        else:
            route.continue_()

    page.route('**/*.js', intercept)
    page.goto('https://wlt.mlqxx.com')

    # 此时 window.hex_md5 已可用
    sign = get_signed_payload(page, 1710000000000, 1)
    print('sign:', sign)
    browser.close()

适用条件:加密逻辑复杂且与浏览器环境深度耦合,或站点存在反调试(无限 debugger、disable-devtool)导致手动调试困难。

4.3 方案三:Node.js 补环境(进阶)

对于瑞数、PerimeterX 等商业级防护,加密逻辑分散在多个 SDK 文件中,且主动检测 navigator.webdriver、canvas 指纹、事件触发序列等环境特征。补环境方案的核心思路是:在 Node.js 中用 JSDOM 构建一个“足够像浏览器”的运行时,同时拦截 SDK 发出的网络请求,由 Python 转发真实请求并回注响应。

某 PerimeterX 逆向项目的 node_bridge 实现中,px_node_bridge.js 全局替换了 window.XMLHttpRequest 和 window.fetch,使 SDK 的请求不直接发出,而是通过 stdout 输出给 Python,Python 用 curl_cffi 以 Chrome TLS 指纹转发,再将响应写回 stdin 供 SDK 继续执行。这一方案的门槛较高,需要逐一补齐 navigator.connection、MouseEvent、canvas 等环境对象,且对 SDK 版本变化敏感。


五、工程化建议

验证优先于优化。在将逆向逻辑接入爬虫之前,务必用相同输入比对 JS 侧与 Python 侧的输出。建议在 JS 文件中保留一个 selfTest() 函数,用固定参数生成签名并在控制台打印,Python 侧首次调用时同样用该组参数校验结果。这一步能提前暴露补环境不完整或编码差异(如 JSON.stringify 与 Python str() 的空格差异)等问题。

签名参数通常与时间戳或 nonce 绑定。每次请求前重新调用 JS 生成签名,不要缓存签名结果。对于 execjs,注意上下文保持:ctx.call() 每次执行是独立的,但模块加载状态会保留;若 JS 代码中有全局状态(如随机数生成器的种子初始化),需要确认其行为是否符合预期。

降级策略。如果纯算法还原耗时超过预期,或站点频繁更新加密逻辑,可以考虑用 Playwright 维护一个常驻浏览器上下文,将加密函数调用封装为 HTTP 服务或进程内 RPC,爬虫通过本地调用获取签名。代价是资源消耗增加,但维护成本显著降低。

合规边界。逆向的对象是公开传输的加密逻辑,目的是模拟正常浏览器行为获取公开数据。避免绕过登录后的访问控制、避免对服务端造成异常压力,是技术实践中应当守住的基本线。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、问题界定:什么时候需要 JS 逆向
  • 二、定位加密入口:搜索、断点与调用栈回溯
    • 2.1 关键词搜索与 XHR 断点
    • 2.2 调用栈回溯:从结果反推源头
  • 三、代码还原:从混淆代码中提取可用逻辑
    • 3.1 处理依赖与补环境
    • 3.2 简化与验证
  • 四、Python 与 JS 的桥接方案选型
    • 4.1 方案一:execjs / PyExecJS(纯算法还原)
    • 4.2 方案二:Playwright 注入(应对强依赖浏览器环境的场景)
    • 4.3 方案三:Node.js 补环境(进阶)
  • 五、工程化建议
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档