拉勾反爬

问题

最近很多人都在问拉勾反爬是怎么回事，简单说下。

拉勾职位数据都在Ajax加载中，每一个请求都会携带上一次返回的cookies。我们来做个试验，先在浏览器中打开该网址：`https://www.lagou.com/jobs/list_?px=new&city=%E5%85%A8%E5%9B%BD`，搜索全国职位数据，所有职位数据都在这里：

可以看到还有有职位总数totalCount字段，但是该字段真实性需要考证。

复制curl放在postman中发送，但是却发现这个

难道我们IP被BAN了，这个时候再去浏览器刷新，发现是可以打开的，ip没有被拉黑，这里的问题就是拉勾每一个职位请求都会去验证cookies。

Chrome的BUG

这个时候仔细看看该HTTP报文，发现如下：

Request Headers并没有显示全部，这个的原因不深究，有兴趣的google下。我把这里的现象叫做Chrome的BUG，即不会显示所有的请求报文（访问淘宝也会这样）

Request Headers可以说是最重要的，但是现在看不全，如何解决。提供两种方法：

1. Charles抓包
2. 使用firefox

下面说下怎么看firefox，至于charles则需要配合插件`Proxy SwitchyOmega`使用，用Charles设置好端口即可。

使用firefox

使用firefox打开上面那条请求，有如下发现

会显示完整请求头，对比Chrome，差别就出来了。现在的问题是这几个cookies是本地生成的还是服务端返回的。仔细寻找发现是第一条请求发送之后，对方服务器返回的，如图

在响应头中可以看到Set-Cookie，那么问题就很好解决了，使用requests的session就很容易了，如果用Scrapy，设置meta中的cookiejar即可。

代码：[requests to get lagou python job](<https://gist.github.com/zhangslob/a28496e5d7a96062acadc76ddf835aad>)

如何全站爬取

可以根据条件筛选，当筛选条件的查询结果总量小于15*30=450时就可以开始抓取，否则细化筛选