知乎模拟登陆

经常在简书上写作,写完后再发布到其他网站,非常麻烦,所以准备搞一下自动发布文章的工具。那么第一步先要模拟登陆几个网站。今天先从知乎开始。

环境准备

Python:python3.6IDE:pycharm抓包工具:Charles系统环境:Mac浏览器:Chrome

抓包

首先进行网站登录抓包,打开Chrome浏览器无痕窗口,然后清空所有缓存,打开Charles,在Chrome浏览器地址栏输入www.zhihu.com,打开知乎登录界面

图1

图2

我是手机号登录,邮箱没有试过,不知道请求流程是否一样,输入账号密码,如果需要验证码的话会自动出现验证码输入框,登录成功后

图3

一般情况下我们可以输错一次密码或者验证码,来多看看请求流程。另外我用chrome浏览器抓取了好几次登录流程,发现都不一样。所以最后就是综合了一下几次抓包的信息进行分析了。

登录分析

找到登录请求

图4

登录请求一般是POST,这个很少有例外,有些网站一般会是第一个post请求,可是知乎的post请求有点颇多,这个请求中有username和password,那我们就以这里为基准开始分析。看一下红框中出现了两个Authentication和Multipart,在其他的登录网站中我还没碰到过这种情况,这个Multipart好像之前的Form,Authentication应该是一种认证。

图5

先搜了一下这个Authentication信息

图6

看到是在main.app.xxxxx.js脚本中,打开脚本看一下,基本上是固定值,其实通过多次请求可以发现这个值是固定的。同时我们可以确定其他的一些固定参数。看过我之前文章的同学应该知道,确定参数最简单的方式就是多次请求观察,很容易就能确定固定值。

图7

通过观察只有signature参数比较麻烦,timestamp是时间戳,captcha是我们输入的验证码,那么搞定这个参数我们就离成功很近了,为什么是很近而不是成功?这个我们得记住,一般在分析请求的时候参数只是一部分,我们要关注headers、cookies、提交参数。首先参数我们确认了只需要分析signature。那么再来看看headers

图8-抓包情况一

图9-抓包情况二

这里有两种抓包情况,针对这种情况要单独分析,我们接下来再分析。 然后再说说cookies,有时候我们并不需要一开始就分析cookies,而且不是cookies中的每一项都是必须的。我们先把cookies信息截取出来。后面再分析

图10

signature

这里我们先分析提交参数signature。首先在charles中查询参数值

图11

没搜到,这种一般都是通过计算生成的,搜不到很正常。既然搜不到值,那我们来搜一下参数名。

图12

看一下搜索结果,main.app.xxxx.js中的比较像

图13

其他的参数也出现在这里,那基本就是这个地方了。仔细观察一下,SHA-1、setHMACKey、几个update、getHMAC,第一反应是sha1加密,通过固定字符串+grantType+clientId+com.zhihu.web+时间戳进行加密,结果试了一下好像不是。度娘了一下HMAC / sha1,原来还有这种操作,OK这个参数搞定了,贴下代码。

图14

captcha

在抓包请求中我们可以看到,验证码请求应该是https://www.zhihu.com/api/v3/oauth/captcha?lang=en,在有些抓包结果中后面的lang=cn,不知道这俩是怎么区分的。

图15

我们看到这个请求有三种访问方式,GET、PUT、POST,分别看一下结果。

图16

GET请求访问结果会显示是否需要输入验证码。

图17

PUT请求的返回值是图片的base64加密数据。得到base64数据后转换为图片显示即可

import base64
imgdata = base64.b64decode(result.get("img_base64"))with open("cap.png", "wb") as fp:
    fp.write(imgdata)

POST请求会返回验证码验证结果。

图18

通过图15的截图(当然POST返回错误是我故意输错验证码的结果)我们知道验证码并不是在登录请求的时候才进行验证的,需要提前验证。

headers

authorization的值和client_id值相等,那就都是固定值,不用管了。X-Xsrftoken:先搜一下这个值

图19

图20

在上面的请求response中设置的cookies值,那我们直接从cookies中拿出_xsrf值,设置到headers中即可

图21

X-UDID:跟X-Xsrftoken一样,也是在cookies中设置的

图22

拆分一下即可

图23

既然我们需要取cookies中的_xsrf和d_c0的值,那么就得保证cookies中必须有这个值,稍微往上翻一下可以看到Set Cookie在最初访问www.zhihu.com中设置的

图24

那么访问一下首页就可以了。分析到这里就差不多了。接下来就是发送请求了。

multipart/form-data

图25

这种表单也没提交过,有点懵逼。但是看起来跟这个Content-Type: multipart/form-data有关系,请求发送类型。搜一下requests multipart,找到一个请求库requests_toolbelt,使用方式如下:

from requests_toolbelt import MultipartEncoder
data = {    "client_id":"xxxx",    "grant_type":"password"}
boundary = "----WebKitFormBoundaryJKBWBR54EIz5oTAY"encode_data = MultipartEncoder(data, boundary=boundary)
headers["Content-Type"] = encode_data.content_type
requests.post(url, data=encode_data.to_string())

这里有个boundary需要关注一下,首先几次请求的boundary信息不一样,那肯定是不一样的,所以我大概搜了一下boundary这个值,没发现这个值。度娘了一下WebKitFormBoundary,好像说这个boundary其实不发送也没什么关系。主要是我刚开始写的时候这个boundary默认是空的,结果竟然登录成功了。我觉得既然值是随意的,那么有总归比没有好点吧,防止被ban码。WebKitFormBoundary后面那16位大概是大小写字母和数字随机吧。那我就伪造了一下。

def random_boundary():
    factor = "ABCDEFGHIGKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789"
    boundary = "----WebKitFormBoundary{}".format("".join(random.choices(factor, k=16)))    return boundary

好啦,这回算是全都搞定了,最后要验证一下登录是否成功,访问一下个人中心即可:https://www.zhihu.com/people/wan-rou-2

最后我们总结一下登录过程:

  1. 访问https://www.zhihu.com
  2. 访问验证码链接,进行验证
    def get_captcha(self):
        captcha = ""
        url = "https://www.zhihu.com/api/v3/oauth/captcha?lang=en"
        # 请求头中增加Authorization
        self.session.headers["Authorization"] = "oauth c3cef7c66a1843f8b3a9e6a1e3160e20"
        r = self.session.get(url)
        result = r.json()        if not result.get("show_captcha"):            # 不需要输入验证码
            return ""
        else:            while True:                # 获取验证码图片base64
                r = self.session.put(url)
                result = r.json()
                imgdata = base64.b64decode(result.get("img_base64"))                with open("cap.png", "wb") as fp:
                    fp.write(imgdata)
                im = Image.open("cap.png")
                im.show()
                captcha = input("输入验证码>>")                #验证码
                boundary = self.random_boundary()
                cap_data = MultipartEncoder(fields={"input_text":captcha}, boundary=boundary)
                self.session.headers["Content-Type"] = cap_data.content_type                # 发送验证码进行验证
                r = self.session.post(url, data=cap_data.to_string())
                result = r.json()                if not result.get("error", None):
                    print("验证码正确")                    break
                else:                    # 验证码不正确,重新请求
                    print(result.get("error").get("message"))            return captcha
  1. 发送登录请求
  2. 访问个人中心

代码放在我的GitHub上:知乎模拟登录

原文发布于微信公众号 - python爬虫实战之路(gh_f26a568fdea8)

原文发表时间:2018-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张戈的专栏

CCKiller:Linux 轻量级 CC 攻击防御工具

很久以前分享过一个CC攻击的防御脚本,写得不怎么样,不过被51CTO意外转载了。博客从此走上了经常被人拿来练手的不归之路。当然,还是有不少朋友在生产环境使用,并...

1.6K0
来自专栏张首富-小白的成长历程

CentOS使用SMTP第三方发送邮件

SMTP称为简单邮件传输协议(Simple Mail Transfer Protocal),目标是向用户提供高效、可靠的邮件传输。它的一个重要特点是它能够在传送...

2642
来自专栏张善友的专栏

开源.NET邮件服务器

LumiSoft Mail Server是一个开源,免费的邮件服务器,能运行在.net/mono上,支持SMTP/POP3/IMAP4/WebMail,支持MS...

4597
来自专栏前端笔记

【HTTP2.0 协议】就“腾讯云 CDN 针对 HTTP 2.0全面公测”浅谈如何启用 HTTP 2.0协议?

HTTPS 是指超文本传输安全协议(Hypertext Transfer Protocol Secure),是一种在 HTTP 协议基础上进行传输加密的安全协...

5949
来自专栏逸鹏说道

上传文件的陷阱

0x00 背景 现在很多网站都允许用户上传文件,但他们都没意识到让用户(或攻击者)上传文件(甚至合法文件)的陷阱。 什么是合法文件? 通常,判断文件是否合法会透...

3507
来自专栏ThoughtWorks

如果有10000台机器,你想怎么玩?(二)高可用 | TW洞见

今日洞见 文章作者/配图来自ThoughtWorks:高清华。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司所有,任何媒体、网...

36414
来自专栏数据和云

Oracle Data Redaction数据加密

Oracle Database 12c中加入了Data Redaction作为一个新的安全特性。(实际在11g的官方Database Advanced Secu...

4015
来自专栏Android 开发者

[译] 在 Android P 中使用默认的 TLS 来保护你的用户

2453
来自专栏Jerry的SAP技术分享

Red Hat Enterprise Linux(RHEL)中yum的repo文件详解

Yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于...

2322
来自专栏大内老A

[WCF安全系列]从两种安全模式谈起

WCF的安全体系主要包括三个方面:传输安全(Transfer Security)、授权或者访问控制(Authorization OR Access Contro...

1957

扫码关注云+社区

领取腾讯云代金券