Gzip模块为python的压缩和解压缩模块,读写gzip 文件
import gzip #导入python gzip模块,注意名字为全小写
g = gzip.GzipFile(filename="", mode="wb", compresslevel=9, fileobj=open('sitemap.log.gz', 'wb'))#filename参数是压缩文件内文件的名字,为空也可以。fileobj是生成的压缩文件对象
g.write(open('d:\\test\\sitemap.xml').read())
g.close()
代码如下:
g = gzip.GzipFile(mode="rb", fileobj=open('d:\\test\\sitemap.log.gz', 'rb')) # python gzip 解压
open(r"d:\\haha.xml", "wb").write(g.read())
在实际应用中,例如在爬取网页的过程中,我们检查网页源代码的head头部信息发现,是结果gzip压缩处理的,所以在显示过程中显示不完全,例如:
我们要抓取指定url的源代码
#-*-coding:utf8 -*-
import urllib2
from lxml import etree
request = urllib2.Request('http://outofmemory.cn/')
response = urllib2.urlopen(request)
print data.text()
发现显示出的源代码是经过压缩的数据
此时我们需要对齐进行解压操作,最终代码入下:
#-*-coding:utf8 -*-
import urllib2
from lxml import etree
from StringIO import StringIO #StringIO模块就是在内存中读写str
import gzip #加压缩文件
request = urllib2.Request('http://outofmemory.cn/')
request.add_header('Accept-encoding', 'gzip') #添加头信息
response = urllib2.urlopen(request)
if response.info().get('Content-Encoding') == 'gzip':
buf = StringIO( response.read()) #将读取的response信息作为stringIO方便后面作为文件写入
f = gzip.GzipFile(fileobj=buf) #解压缩response
data = f.read()
print data