首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫正传-江湖路远-0105-谁的刀快谁就有理

爬虫正传-江湖路远-0105-谁的刀快谁就有理

作者头像
大牧莫邪
发布2018-08-27 16:46:42
3160
发布2018-08-27 16:46:42
举报

在web操作领域,为了减轻响应数据的体积和保证数据完整性的考虑,可以在浏览器允许的情况下,将数据压缩返回,压缩操作方式目前一般支持主流的两重操作方式[Accept-Encoding:gzip, deflate]

不同的两种压缩方式,都可以直接通过Python内置模块进行操作处理 (1) gzip数据处理 服务器返回gzip数据时,下列爬虫程序就会出现问题

# coding:utf-8

import urllib2

url = “[http://www.baidu.com](http://www.baidu.com/)”

response = urllib2.urlopen(url)

print response.read()

打印展示的数据如下

放养的少侠

通过数据的抓包分析,可以看到返回的数据是经过gzip压缩操作的,那么在得到响应数据时,我们要进行解压缩操作 解压缩gzip数据,主要使用到了python2中的gzip模块,操作过程如下

from StringIO import StringIO
def un_gzip(data):
    ‘’’data是服务器响应的压缩过的gzip数据’’’

    buff = StringIO(data)
    f = gzip.GzipFile(fileobj=buff)
    return f.read()

将上述得到的response.read()数据,交给我们定义的un_gzip函数进行处理,就可以得到正确的数据了

(2) deflate压缩数据 和gzip压缩数据一样,deflate格式的压缩数据也是需要进行解压操作才能得到正确数据的,操作方式和gzip类似,使用Python2中的zlib模块

定义如下函数进行操作

def un_zip(data):
‘’’使用deflate压缩格式返回的响应数据处理函数’’’
try:
    return zlib.decompress(data, -zlib.MAX_WBITS)
excpet:
    return zlib.decompress(data)

如果服务器返回的是类似这样格式的数据,直接通过un_zip函数进行解压操作即可

**小结:服务器操作过程中,由于近代浏览器对于数据操作的功能日益加强,所以可以直接操作压缩后的数据,数据经过压缩后的传输能更加友好的保证数据传输质量,所以对于特殊的压缩数据格式的处理也是爬虫需要掌握的技能之一 **

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.14 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档