专栏首页Crossin的编程教室Python 抓取网页乱码原因分析

Python 抓取网页乱码原因分析

在用 python2 抓取网页的时候,经常会遇到抓下来的内容显示出来是乱码。

发生这种情况的最大可能性就是编码问题:运行环境的字符编码和网页的字符编码不一致。

比如,在 windows 的控制台(gbk)里抓取了一个 utf-8 编码的网站。或者,在 Mac / Linux 的终端(utf-8)里抓取了一个 gbk 编码的网站。因为多数网站采用 utf-8 编码,而不少人又是用 windows,所有这种情况相当常见。

如果你发现你抓下来的内容,看上去英文、数字、符号都是对的,但中间夹杂了一些乱码,那基本可以断定是此情况。

解决这个问题的办法就是,把结果先按网页的编码方式 decode 解码成 unicode,再输出。如果不确定网页的编码,可参照以下代码:

import urllib


req = urllib.urlopen("http://some.web.site")
info = req.info()
charset = info.getparam('charset')
content = req.read()
print content.decode(charset, 'ignore')

'ignore' 参数的作用是忽略掉无法解码的字符。

不过这种方法不总是有效。还有种方式就是通过正则直接匹配网页代码中的编码设置:

<meta http-equiv=Content-Type content="text/html;charset=utf-8">

除了编码问题造成乱码之外,还有种常被忽视的情况,就是目标网页启用了 gzip 压缩。压缩后的网页传输数据少了,打开速度更快。在浏览器中打开时,浏览器会根据网页的 header 信息自动做解压。但直接用代码抓取则不会。因此很可能就被搞糊涂了,为什么明明打开网页地址是对的,但程序抓取就不行。连我自己也曾经被这个问题坑过。

这种情况的表现是抓取的内容几乎全是乱码,甚至无法显示。

要判断网页是否启用了压缩并对其解压,可参考以下代码:

import urllib
import gzip
from StringIO import StringIO


req = urllib.urlopen("http://some.web.site")
info = req.info()
encoding = info.getheader('Content-Encoding')
content = req.read()
if encoding == 'gzip':
    buf = StringIO(content)
    gf = gzip.GzipFile(fileobj=buf)
    content = gf.read()
print content

在我们教室的编程实例 查天气系列 中,这两个问题困扰了相当多人。在此特别讲解一下。

最后,还有个“利器”要介绍一下。如果一开始就用它,你甚至不知道还有上述两个问题的存在。

这就是 requests 模块。

同样抓取网页,只需要:

import requests
print requests.get("http://some.web.site").text

没有编码问题,没有压缩问题。

This is why I love Python.

至于如何安装 requests 模块,请参考之前的文章:

如何安装 Python 的第三方模块

pip install requests

附:

【Python 第43课】 查天气(1)

【Python 第44课】 查天气(2)

【Python 第45课】 查天气(3)

【Python 第46课】 查天气(4)

本文分享自微信公众号 - Crossin的编程教室(crossincode),作者:Crossin

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • #PY小贴士# BeautifulSoup的解析器选择

    网页拿下来是有内容的(成功获取了页面),在里面用 str 的 find 方法也能搜索到相关信息,但用 bs4 来提取就是提取不出。

    Crossin先生
  • 实现财务自由,这个工作是我们未来几年最好的选择

    5月8日,谷歌召开一年一度的Google I/O大会,谷歌CEO直接祭出了这次大会的王牌——AI。

    Crossin先生
  • 用Python+小程序实现诗词大会的飞花令

    在2018年下半年的某一天,偶然观看了《中国诗词大会》节目的飞花令环节。当时作为语音行业一员对此十分感兴趣,想着能不能用程序实现一个,思考技术方案的时候发现最大...

    Crossin先生
  • 所见即所得-基于Node.js的页面数据实践

    摘要 数据抓取是企业信息化的根基和第一步,只有利用先进的技术作好了信息抓取工作,才能为信息化带来最大的价值。懂球帝高级开发工程师邓佳龙用五个字就概括了数据抓取的...

    IT大咖说
  • 基于云计算的 CV 移动交互应用研究(1):CV交互+云计算

    Google Translate App 以word Lens即时相机翻译黑科技与 基于云计算架构的“统计机器翻译”的强大服务后台,引爆大众关注。“CV交互+移...

    flavorfan
  • Swift 实现strStr() - LeetCode

    当 needle 是空字符串时,我们应当返回什么值呢?这是一个在面试中很好的问题。

    韦弦zhy
  • leecode刷题(17)-- 实现StrStr

    给定一个 haystack 字符串和一个 needle 字符串,在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存...

    希希里之海
  • LeetCode 28. 实现 strStr()

    给定一个 haystack 字符串和一个 needle 字符串,在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存...

    freesan44
  • 送书 | DDD/Serverless/RESTFul Web Clients,总有一款适合你

    ThoughtWorks作为一家学习型组织,颇为看重每一位员工的学习能力。好读书、会读书是我们的共有基因,著书、译书在这里也成为风潮,我们通过这种方式加深对知识...

    ThoughtWorks
  • 特征工程(一):

    在深入研究特征工程之前,让我们花点时间看看整个机器学习流水线。这将帮助我们更好地了解应用的大方向。为此,让我们从数据和模型等基本概念入手。

    机器学习AI算法工程

扫码关注云+社区

领取腾讯云代金券