专栏首页日常学python请求网页时,怎么给我返回了一段 JavaScript 代码

请求网页时,怎么给我返回了一段 JavaScript 代码

今天给大家带来的是一个论坛网站,牛仔俱乐部-努比亚社区,

网址为:https://bbs.nubia.cn/

如果你想要获取这个网站的源代码的话,必须要先获取一个 cookie,其字段名为:acw_sc__v2,你是不是不相信?爬取网站还需要获取 cookie 值才可以?说实话,我刚开始爬的时候我也不相信,直到我运行请求代码,一看,给我返回这个:

这是什么啊,一段 JavaScript 代码,很容易地就可以看到下面有个 setCookie 的方法,这不就是我刚才说的需要获取的 cookie 的字段吗?如果你看到这,留下了没技术的眼泪的话?别怕,我劝你擦干眼泪,继续看下去,你会发现新大陆!

我们首先在 chrome 看看这里网站的请求先,打开 chrome,打开开发者工具,输入网址:https://bbs.nubia.cn/(需要先清除cookie),你可以看到下面这个东西:

是不是呆住了?这是debug,明明什么都没按啊,如果你按跳出这个函数的话,可以暂时跳出,不过等到运行多几行代码的话,他会运行到一个无限执行 debug 的函数,让你永无翻身之日,一直在 debug 转动。

那怎么办?莫慌,其实这里运行代码就是我们在上面第一次请求这个网站给我们返回的 JavaScript 代码,那么我们可以把刚才响应回来的代码复制出来,写成 html 文件,使用 chrome 浏览器打开。

如果你把 那段代码展开的话,打开的时候就会无限进行刷新,直到浏览器崩溃。

这里是代码在执行过程中使用正则检测你把代码展开了,所以就会无限进行刷新,这叫做内存爆破,是不是又 get 新知识?

所以我们直接原样复制进去,在打开 chrome 进行调试。

但是,当我们一打开 开发者工具,还是会立刻弹出 debug 页面

这又是为什么呢?我们根据右边的调用栈看看是怎样执行的,查看调用栈,可以看到这个函数:

如果你是学习过 JavaScript 的话,很容易就知道 setInterval 是个设置每隔一段时间就执行相应操作的函数。所以他这里每隔一段时间就会执行函数,用于检测用户有没有打开开发者工具,这个太猛了,具体原理我现在还不知道,如果你知道的不防在下面留言分享给大家。

知道了,之后,我们直接在原文件找到这个定时设置语句给删除就可以了。删除了之后,还是会执行这个 debug 语句,我们继续把这个执行给删除。

现在就不会出现 debug 了,但是有一个新的问题,出现,页面会不断刷新,也是一个定时操作,这时该怎么办呢?因为是一个刷新操作,每次刷新必然会执行里面的 JavaScript 代码,所以不妨随便打个断点,看看调用栈,这里我比较有经验,所以就在这里打了个断点

因为这个 relaod 函数就是一个刷新页面的函数,所以直接在这里点击,可以肯定这个函数会被执行,如果你打的断点没有被执行,可以多打几个断点,总会被执行的,这个不需要担心。

当断点被执行到时,你就可以查看右边的调用栈了,很容易就找到这个地方

这个 setTimeout 也是一个定时执行,不过他只执行一次,相当于定时炸弹。又因为每次都会 reload,所以这个炸弹在每次刷新的时候就会继续新的炸弹,才会有刚才的不断刷新,了解了原理之后,那么我们就把这个 setTimeout 给删除即可。

这时候,再次刷新网页,就什么阻力都没有了,是不是感觉来到这一步不容易?哈哈,爬虫就是这样,与反爬死坑到底,不服就干,看谁更有耐心。

这时候终于可以开始我们的调试之旅了,因为知道这个 JavaScript 执行之后会返回一个 cookie 值,所以接下来就是寻找生成的位置,如果你熟练的话,可以利用二分法来找,具体怎样找自己探索,因为我也不是很熟练。如果你不熟练的话,可以学我一样,因为代码就几百行,可以直接从第一行开始找。

如果你认真找,不用多久,很快就可以发现这个,这个 arg2 就是我们需要找的 cookie 的值,所以接下来可以在这里打断点,看看具体的执行步骤。

可以看到,通过传一参数,使用这个函数就可以完成加密了,根据这个函数的函数名是 hexXor,可以知道是一个 Xor 加密,想知道原理的可以看看这篇文章:http://www.ruanyifeng.com/blog/2017/05/xor.html,我们也可以根据 JavaScript 代码直接转成 python 代码也可以,不难。

通过调试发现,这里面需要两个参数,一个是加密的信息,一个是key

加密的信息是在很容易就发现,是从这里生成的

所以也可以在这里打断点,再刷新一下,就可以看到加密信息是由这个函数生成的。

这里的 JavaScript 代码也很容易,也可以直接翻译成 python 代码。而其参数需要的是 arg1,这个变量在代码第一行就声明了,所以在获取的时候,可以使用正则获取。

接着就是 key 的获取了。直接搜索这个 key 的变量,很容易就找到这个

加密函数很长,但是也是可以自己转 python的,难度也不大。

在经过我多次测试之后,发现这个 key 是固定的,所以无需自己实现这个函数,可以直接取这个值即可。

现在大功告成,已经可以获得所需要的 cookie 值了,是不是觉得非常不可思议,一路走过来都不容易。

不过这里有个 bug,就是有时还是获取到 JavaScript 代码,但是多运行几次还是可以正常获取到 html 源码的,由于自己只是获取这个值而已,能成功即可,所以没有研究下去,如果你知道原因,也可以在留言区告诉我。

最后总结下遇到各种挑战:

  1. 代码展开会无限刷新,内存爆破,如果你认真自己调试的话,会发现里面有几个正则,有些是用来匹配函数的,用于判断有没有展开代码的,展开了就代表有人想搞代码了,所以就会无限刷新。
  2. 设置定时与刷新网页,使网页无限刷新。这个对我们来说调试问题不大,毕竟每次刷新我们都可以断点调试代码
  3. 设置定时检测有没有打开开发者工具,这个才是最厉害的,检测到的话就胡无限 debug。

最后就没有啦,如果你需要源码的话,可以在我的 GitHub 上获取,地址为:https://github.com/SergioJune/Spider-Crack-JS/tree/master/nubiya_bbs(也可以点击原文阅读)

如果对你有用的话,还请给个star,我会一直更新下去,你有什么需要破解的网站也可以提issue。

目前还更新了拼多多的搜索参数 anti_content 和另一个更加厉害的 cookie 反爬,也是属于这个 Incapsula-CDN 的,难度比今天这个难上不少,由于个人问题,暂时只能每周讲解一个,请谅解。

原创不易,希望能给个赞,给个star,支持下继续写下去。

本文仅用于交流学习,请勿用于非法用途,后果自负!

END

本文分享自微信公众号 - 日常学python(daily_learn),作者:sergiojune

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何能正常获取17track物流网站的物流信息?

    原本昨天就要发文章的了,由于之前的pdd文章被投诉了,删除了,影响心情的同时也不敢乱发文章了,所以就暂时歇了一天,也改了另外一个网站,就是今天的物流网站。如果大...

    sergiojune
  • 烂代码&7点建议

    每种编程语言、每个框架都有自己的一套编码规范和编码最佳实践方式,例如 PEP8 是 Python 语言的编码规范,作为 Python 开发者,每个人至少要将 P...

    sergiojune
  • 世界杯:用Python分析热门夺冠球队-(附源代码)

    本次分析的数据来源于 Kaggle, 包含从 1872 年到今年的数据,包括世界杯比赛、世界杯预选赛、亚洲杯、欧洲杯、国家之间的友谊赛等比赛,一共大约 4000...

    sergiojune
  • 9个,程序员又爱又恨的编程习惯

    编程习惯No. 1:使用goto 关于禁止使用goto可以追溯到许多结构化编程工具还未面世的时代。如果程序员想要创建一个循环或跳到另一段程序中,那么他们需要输入...

    BestSDK
  • 聊聊clean code

    clean code,顾名思义就是整洁的代码,或者说清晰、漂亮的代码,相信大多数工程师都希望自己能写出这样的代码。 也许这是个千人千面的话题,每个工程师都有自己...

    美团技术团队
  • 「WebRTC」最新 WebRTC 源码目录结构分析

    最近一直在研究 WebRTC源码,发现目前网上分析WebRTC源码的资料非常少。随着Google不断推进WebRTC标准,WebRTC 代码的变化非常大,很多以...

    音视频_李超
  • 代码不规范,同事两行泪,撸码七宗罪!

    编程江湖中一直盛传着一个段子,那就是要问程序员最讨厌哪 4 件事?那必须是:写注释、写文档、别人不写注释、别人不写文档。

    Java技术栈
  • 编写高质量代码开篇

    最近因为加入一个新的团队,才开始认真的关注关于编写高质量代码的话题,学习总结的同时,记录下这段让自己再一次认真学习的过程。 想成为架...

    JavaQ
  • 程序员进阶宝典

    ? 心净则明,心诚则灵 如果你想要一个月速成程序员,那么这篇文章不适合,如果你仅想要在IT圈“耍酷”,那你也不需要研读,如果你执着询问“退化”成为一名程序猿有...

    非著名程序员
  • 代码不规范,同事两行泪

    编程江湖中一直盛传着一个段子,那就是要问程序员最讨厌哪 4 件事?那必须是:写注释、写文档、别人不写注释、别人不写文档。

    Java编程指南

扫码关注云+社区

领取腾讯云代金券