参数加密
参数加密指的是在请求中需要加上类似token
、uuid
字段,例如在某个请求中query string parameters
中有_token
和uuid
、customerKey
等字段,
_token:eJyN0l9L40AQAPDvsg8+hWZ2
uuid:59851b5e-92b4-f1f5-19e2-d8148bf7e
customerKey:0356982437
解决方法
刚开始遇到这个是一脸懵逼的,验证发现有些参数不是必须的,比如uuid
,uuid
在维基百科上是:通用唯一识别码,估计没啥作用,python也有内置的uuid生成库 uuid — UUID objects according to RFC 4122
问了前端大佬,得知需要在js中打断点,一点点调试,最后终于解决,_token
是二次加密的。
给大家看一下该网站的部分代码。看看描述:获得反爬虫的_toke
/**
* 获得反爬虫的_token
* @param {*} url
* @param {*} queryParams
*/
function getRohrToken(host, queryParams) {
if (window.Rohr_Opt && window.Rohr_Opt.reload) {
var rohr = window.Rohr_Opt;
var _token = '';
var params = queryParams
if (typeof params == 'string' && params.indexOf('_fb_=') !== -1) {
params = ''
}
var queryString = toQueryString(params);
var _url = location.protocol + host + '?' + queryString;
try {
_token = rohr.reload(_url) || '';
} catch (e) {
console.log('获取token失败:' + e)
}
return _token;
};
}
关于如何调试,这里有教程,调试 JavaScript 脚本
这里还有另一种app抓包加密情况,暂时还没接触过,听过是需要反编译apk包,然后阅读代码。
很多网站数据是登录可见,那么就必须要开发该网站的登录系统了。
登录可能会遇到的一些问题:
解决方法
cookies
后,经过一段时间,cookies
就可能会失效,具体网站情况不同,这时候就必须有个脚本,来保证cookies
有效最近看到有人再问豆瓣登录采集影评导致被封号的事情,豆瓣我以前也被封过,到现在也没有解封
依据用户管理细则,此帐号已被永久停用。停用时间:2017-09-29
如有疑问,请发送邮件到help@douban.com
我的建议是:
验证码一直是反爬虫利器,从简单的数字识别,到复杂的滑动拼图、图片点选等等。有兴趣的来试试破解 网易云易盾,感觉很头疼。
解决方法
例如上图,这是我现在遇到的一种验证码情况,依次点击几个文字。
如果是自己来做的话,会考虑这样:
selenium
根据坐标点击这只是初步思路,但想法很容易,做起来却没那么简单。
在Github上找到大佬写的方法 captcha_crack,知乎上也有 使用深度学习破解点击验证码
那么如果直接接入第三方打码平台来,那就会简单很多,在实际开发中为了提高准确性,更多会使用打码平台。
你遇到哪些棘手的反爬,留言指出,我会尽量帮你~
本文分享自 Python爬虫与算法进阶 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!