当我们访问一个网站,输入账号密码进入网页之后,再点击网页中的其他链接,跳转到另一个网页时,浏览器并不要求我们重新再输入一次账号密码,这是为什么呢?
原因是,当我们第一次输入账号密码后,服务器会返回给我们一个 Cookie 值,而之后再返回该网页的其它跳转网页时,客户端会将该 Cookie 值绑在请求上,发送给服务器,这样服务器就可以利用 Cookie 来判别我们是哪一个用户,找到会话,然后判别登陆状态,若状态为登陆,则不需要用户重新输入用户名密码来进行登陆。
这次我们需要做的就是利用 Python 进行模拟登陆,实现跨页面访问而不需要重新输入用户名及密码。
1. 首先,分析登陆页面
打开登陆页面:https://www.github.com/login
img01
打开开发者工具,分析请求,找到对应的请求头,用以构建爬虫的请求头。
img02
一般使用Host和User-Agent两个参数即可伪装成浏览器;构建请求头如下:
这里存在一个问题:使用 Chrome 的 User-Agent 来获取源码中的 token 值时,返回的列表为空;而使用火狐浏览器的 User-Agent 时,返回的列表是我们想要的内容。这里可以发现,服务器对不同 User-Agent 的返回值是不同的,至于为什么?还需要进一步探索。
2. 接着,分析点击登陆之后的页面
我们在登陆之后,访问其它页面,客户端发送给服务器 Cookie 值和表单,在服务器端找到会话,进而继续访问;所以我们模拟登陆需要的是模拟 Cookie(request.Session()函数)和表单。
Step1: 查看cookie
img03
发现第一次登陆后,响应头会返回 Set-Cookie 值,即设置 Cookie 返回给客户端,创建一个会话 session。
Step2: 分析登陆后页面的请求头
img04
发现其与登陆页面的请求头是一致的,所以我们在请求登陆页面和 github 个人详情页面时,可以使用同一个请求头。
Step3: 分析登陆后页面的 Form-Data (浏览器发送给服务器的表单)
Form-Data 体中含有用户名和密码,是客户端给服务器发送的表单信息,利用这些信息,可判断是在哪个会话中。
img05
发现其中:
commit、utf8 其属性的值每次访问都是不变的
login、password 的值分别是我们登陆所用的账户名和密码
而 authenticity-token 每次访问登陆时,其值都是变化的,我们无法人为输入,需要从源中获得;发现它藏在登陆页面的源码中
这里介绍一个快速查找源码中关键字的方法:
img06
在该界面中选中之后,按Ctrl+F,在箭头执行的输入框内输入我们想要查找的关键字,即可得到结果。
Step4: 获取 authenticity_token 的值
获取xpath:
img07
非常方便!
解析源码,获取 authenticity_token 的值:这里我们用到 lxml 里的 etree 模块,即利用 xpath 来获取信息。
代码如下:
Step5: 构建 form-data 头
3. 全部代码如下
是不是很有趣,好了今天就到这里吧!See You!
本篇图文由团队郭维强同学提供,他的 CSDN Blog 地址为:
参考图文
经过8年多的发展,LSGO软件技术团队在地理信息系统、数据统计分析、计算机视觉领域积累了丰富的研发经验,也建立了人才培养的完备体系。
欢迎对算法设计与实现感兴趣的同学加入,与我们共同成长进步。
团队寻求论文合作,我们可以辅助对方构建模型,验证算法。
团队寻求项目合作,我们可以辅助对方搭建软件系统。
领取专属 10元无门槛券
私享最新 技术干货