首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

爬虫解决网站混淆JS跳转

有些网站,防止被爬虫采集,就会做一层js跳转,普通请求只会拿到js部分,而且很难看懂,然后我试了几种思路,最后留下解决方式: 示例网站:http://huakai.waa.cn/    这是一个发卡平台...仔细看下js,会发现,他是进行了一个延时后调用bx(105)函数,完成后刷新页面,换句话说,得进行这个js的计算即可。...可以参考用 pip3 install js2py js2py.eval_js(a) 硬解开这个js,但是我就用了个小技巧。因为cookie可用1天。...使用的phantomjs 代码为下,将其保存为res.js ,执行如下命令即可获取源码 phantomjs res.js http://huakai.waa.cn/ res.js :改编自:https:...invite_code=u3xrcath7lgz 原创文章,转载请注明: 转载自URl-team 本文链接地址: 爬虫解决网站混淆JS跳转 Related posts: selenium自动登录挂stackoverflow

2.7K50

破解答题环节

刷短视频的时候,发现一个送礼品的活动,旨在为铁粉送福利,为了验证粉丝是否是铁粉,特意在参与之前设置了答题门槛,我也是才刷到博主的视频,并没有查看过所有的视频,所以对于一些题目无法正确回答,尝试多次后,准备看看能不能不回答或者直接找到答案...本来是通过手机点击之后打开的答题页面,为了方便分析,所以就在电脑上打开了该页面,但是被拦截了,如图: 既然只能移动端页面访问,那我修改浏览器的默认 User-Agent 是否可以?...User-Agent 使用来识别浏览器类型,所以我使用火狐的浏览器的 User-agent 切换插件,切换到微信的 User-Agent,如图: 再次访问答题页,现在可以看到需要回答的问题了: 在没有全部看过博主的视频之前...打开浏览器调试窗口的调试器模块,能够看到页面中加载的 javascript 源码,如图: 能看懂 javascript 的同学,可以通过阅读源码来发现题目验证的逻辑,如图; 从代码中可以看到验证全程都是通过 js...,最终进入手机号填写界面: 到这里,其实也可以直接抓取提交手机号的数据包,绕过答题环节,但是这里会有一个验证码,验证码的生成跟手机号有关系,直接提交手机号是无法验证通过的,点击获取验证码,会向一个接口请求

14110
领券