专栏首页Python爬虫与算法进阶说说最近遇到的反爬

说说最近遇到的反爬

参数加密

参数加密指的是在请求中需要加上类似tokenuuid 字段,例如在某个请求中query string parameters中有_tokenuuidcustomerKey等字段,

_token:eJyN0l9L40AQAPDvsg8+hWZ2
uuid:59851b5e-92b4-f1f5-19e2-d8148bf7e
customerKey:0356982437

解决方法

刚开始遇到这个是一脸懵逼的,验证发现有些参数不是必须的,比如uuiduuid在维基百科上是:通用唯一识别码,估计没啥作用,python也有内置的uuid生成库 uuid — UUID objects according to RFC 4122

问了前端大佬,得知需要在js中打断点,一点点调试,最后终于解决,_token是二次加密的。

给大家看一下该网站的部分代码。看看描述:获得反爬虫的_toke

/**
 * 获得反爬虫的_token
 * @param {*} url 
 * @param {*} queryParams 
 */
function getRohrToken(host, queryParams) {
    if (window.Rohr_Opt && window.Rohr_Opt.reload) {
        var rohr = window.Rohr_Opt;

        var _token = '';
        var params = queryParams
        if (typeof params == 'string' && params.indexOf('_fb_=') !== -1) {
            params = ''
        }
        var queryString = toQueryString(params);

        var _url = location.protocol + host + '?' + queryString;
        try {
            _token = rohr.reload(_url) || '';
        } catch (e) {
            console.log('获取token失败:' + e)
        }

        return _token;
    };
}

关于如何调试,这里有教程,调试 JavaScript 脚本

这里还有另一种app抓包加密情况,暂时还没接触过,听过是需要反编译apk包,然后阅读代码。

登录问题

很多网站数据是登录可见,那么就必须要开发该网站的登录系统了。

登录可能会遇到的一些问题:

  1. 登录过程中遇到的验证码(下面会说)
  2. cookies持久化问题
  3. 账号被封禁问题

解决方法

  • 登录账号获得cookies后,经过一段时间,cookies就可能会失效,具体网站情况不同,这时候就必须有个脚本,来保证cookies有效
  • 账号做出一些跟正常用户不同的操作就会产生异常,别人很容易就发现。所以就让你的账号像正常人一样。

最近看到有人再问豆瓣登录采集影评导致被封号的事情,豆瓣我以前也被封过,到现在也没有解封

依据用户管理细则,此帐号已被永久停用。停用时间:2017-09-29
如有疑问,请发送邮件到help@douban.com

我的建议是:

  1. 有能力的多注册账号,账号被封了就再去注册呗
  2. 手机app抓包,app不需要登录,而且可以持续抓最新评论

图形验证码

验证码一直是反爬虫利器,从简单的数字识别,到复杂的滑动拼图、图片点选等等。有兴趣的来试试破解 网易云易盾,感觉很头疼。

解决方法

例如上图,这是我现在遇到的一种验证码情况,依次点击几个文字。

如果是自己来做的话,会考虑这样:

  1. 将验证码图片部分截图或下载回来
  2. 对图片进行OCR,提取文字
  3. 文字识别,获取坐标
  4. 使用selenium根据坐标点击

这只是初步思路,但想法很容易,做起来却没那么简单。

在Github上找到大佬写的方法 captcha_crack,知乎上也有 使用深度学习破解点击验证码

那么如果直接接入第三方打码平台来,那就会简单很多,在实际开发中为了提高准确性,更多会使用打码平台。

你遇到哪些棘手的反爬,留言指出,我会尽量帮你~

本文分享自微信公众号 - Python爬虫与算法进阶(zhangslob)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MongoDB保存数据的优化方法

    问题描述:我有多个线程在抓数据,每天数据里有含有多个文档(Document),使用Pymongo的插入方法,逐条插入。形如下

    小歪
  • TSDK:淘宝开放平台或淘宝登录爬取

    此API设定还不完全,不过通过观察请求的方式可以发现加密放在了请求头里面,原本的链接上面没有的加密,不过也不一定,有的请求还是有携带加密参数的,不过之后的API...

    小歪
  • GitHub上超9Kstars的Python爬虫项目——pyspider(国人编写)

    A Powerful Spider(Web Crawler) System in Python 简介 PySpider:一个国人编写的强大的网络爬虫系统并带有强...

    小歪
  • 在Windows下配置定时运行的Python脚本

    目前我们写出的Python代码,无论是jupyter notebook里还是变成.py格式的脚本,都是需要手动点按钮运行,但是在有些需要自动化定期运行脚本的情况...

    蛰虫始航
  • Python机器学习的练习二:多元线性回归

    在第1部分中,我们用线性回归来预测新的食品交易的利润,它基于城市的人口数量。对于第2部分,我们有了一个新任务——预测房子的售价。这次的不同之处在于我们有多个因变...

    AiTechYun
  • Caffe 关于 LetNet-5 之 lenet_solver.prototxt 解析

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148525
  • 记一次服务器被植入挖矿木马CPU飙升200%解决过程

    线上服务器用的是某讯云的,欢快的完美运行着 Tomcat,MySQL,MongoDB,ActiveMQ 等程序。突然一则噩耗从前线传来:网站不能访问了。

    周三不加班
  • VB.NET 程序通过嵌入福昕PDF阅读器控件显示PDF

    备注:以上两种方法都可以打开别人共享文件夹(或者服务器)中的PDF文件;只要引用共享(或者服务器)地址即可! 比如共享地址为:"\\192.168.0.1\pd...

    巴西_prince
  • Kali Linux Web渗透测试手册(第二版) - 6.3 - 手动识别SQL注入

    thr0cyte,Gr33k,花花,MrTools,R1ght0us,7089bAt

    用户1631416
  • iText的使用

    首先要getInstance并open一个Document对象,该对象也就代表了这个文件:

    LeoXu

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动