拉勾反爬

问题

最近很多人都在问拉勾反爬是怎么回事,简单说下。

拉勾职位数据都在Ajax加载中,每一个请求都会携带上一次返回的cookies。我们来做个试验,先在浏览器中打开该网址:`https://www.lagou.com/jobs/list_?px=new&city=%E5%85%A8%E5%9B%BD`,搜索全国职位数据,所有职位数据都在这里:

可以看到还有有职位总数totalCount字段,但是该字段真实性需要考证。

复制curl放在postman中发送,但是却发现这个

难道我们IP被BAN了,这个时候再去浏览器刷新,发现是可以打开的,ip没有被拉黑,这里的问题就是拉勾每一个职位请求都会去验证cookies。

Chrome的BUG

这个时候仔细看看该HTTP报文,发现如下:

Request Headers并没有显示全部,这个的原因不深究,有兴趣的google下。我把这里的现象叫做Chrome的BUG,即不会显示所有的请求报文(访问淘宝也会这样)

Request Headers可以说是最重要的,但是现在看不全,如何解决。提供两种方法:

  1. Charles抓包
  2. 使用firefox

下面说下怎么看firefox,至于charles则需要配合插件`Proxy SwitchyOmega`使用,用Charles设置好端口即可。

使用firefox

使用firefox打开上面那条请求,有如下发现

会显示完整请求头,对比Chrome,差别就出来了。现在的问题是这几个cookies是本地生成的还是服务端返回的。仔细寻找发现是第一条请求发送之后,对方服务器返回的,如图

在响应头中可以看到Set-Cookie,那么问题就很好解决了,使用requests的session就很容易了,如果用Scrapy,设置meta中的cookiejar即可。

代码:[requests to get lagou python job](<https://gist.github.com/zhangslob/a28496e5d7a96062acadc76ddf835aad>)

如何全站爬取

可以根据条件筛选,当筛选条件的查询结果总量小于15*30=450时就可以开始抓取,否则细化筛选

原文发布于微信公众号 - Python爬虫与算法进阶(zhangslob)

原文发表时间:2019-04-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券