首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何通过Python模拟登陆Github?

当我们访问一个网站,输入账号密码进入网页之后,再点击网页中的其他链接,跳转到另一个网页时,浏览器并不要求我们重新再输入一次账号密码,这是为什么呢?

原因是,当我们第一次输入账号密码后,服务器会返回给我们一个 Cookie 值,而之后再返回该网页的其它跳转网页时,客户端会将该 Cookie 值绑在请求上,发送给服务器,这样服务器就可以利用 Cookie 来判别我们是哪一个用户,找到会话,然后判别登陆状态,若状态为登陆,则不需要用户重新输入用户名密码来进行登陆。

这次我们需要做的就是利用 Python 进行模拟登陆,实现跨页面访问而不需要重新输入用户名及密码。

1. 首先,分析登陆页面

打开登陆页面:https://www.github.com/login

img01

打开开发者工具,分析请求,找到对应的请求头,用以构建爬虫的请求头。

img02

一般使用Host和User-Agent两个参数即可伪装成浏览器;构建请求头如下:

这里存在一个问题:使用 Chrome 的 User-Agent 来获取源码中的 token 值时,返回的列表为空;而使用火狐浏览器的 User-Agent 时,返回的列表是我们想要的内容。这里可以发现,服务器对不同 User-Agent 的返回值是不同的,至于为什么?还需要进一步探索。

2. 接着,分析点击登陆之后的页面

我们在登陆之后,访问其它页面,客户端发送给服务器 Cookie 值和表单,在服务器端找到会话,进而继续访问;所以我们模拟登陆需要的是模拟 Cookie(request.Session()函数)和表单。

Step1: 查看cookie

img03

发现第一次登陆后,响应头会返回 Set-Cookie 值,即设置 Cookie 返回给客户端,创建一个会话 session。

Step2: 分析登陆后页面的请求头

img04

发现其与登陆页面的请求头是一致的,所以我们在请求登陆页面和 github 个人详情页面时,可以使用同一个请求头。

Step3: 分析登陆后页面的 Form-Data (浏览器发送给服务器的表单)

Form-Data 体中含有用户名和密码,是客户端给服务器发送的表单信息,利用这些信息,可判断是在哪个会话中。

img05

发现其中:

commit、utf8 其属性的值每次访问都是不变的

login、password 的值分别是我们登陆所用的账户名和密码

而 authenticity-token 每次访问登陆时,其值都是变化的,我们无法人为输入,需要从源中获得;发现它藏在登陆页面的源码中

这里介绍一个快速查找源码中关键字的方法:

img06

在该界面中选中之后,按Ctrl+F,在箭头执行的输入框内输入我们想要查找的关键字,即可得到结果。

Step4: 获取 authenticity_token 的值

获取xpath:

img07

非常方便!

解析源码,获取 authenticity_token 的值:这里我们用到 lxml 里的 etree 模块,即利用 xpath 来获取信息。

代码如下:

Step5: 构建 form-data 头

3. 全部代码如下

是不是很有趣,好了今天就到这里吧!See You!

本篇图文由团队郭维强同学提供,他的 CSDN Blog 地址为:

参考图文

经过8年多的发展,LSGO软件技术团队在地理信息系统、数据统计分析、计算机视觉领域积累了丰富的研发经验,也建立了人才培养的完备体系。

欢迎对算法设计与实现感兴趣的同学加入,与我们共同成长进步。

团队寻求论文合作,我们可以辅助对方构建模型,验证算法。

团队寻求项目合作,我们可以辅助对方搭建软件系统。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190117B1D6Z900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券