Python的解码和编码

使用Python语言做网络爬虫或者写自动化脚本时,总会遇到“中文乱码”的问题,很是头疼。很多“中文乱码”的问题是跟Python的解码/编码有关,所以今天和大家说说Python的解码/编码(以Python2.7为例)。

1.什么是Python解码/编码?

Python里面的解码和编码也就是unicode和str这两种形式的相互转化。解码就是str -> unicode,相反的,编码是unicode -> str。

总的来说就是:unicode是Python解释器的内码,所有代码文件在导入并执行时,Python解释器会先将字符串使用你指定的编码形式解码成unicode,然后再进行各种操作。不管是对字符串的操作,还是正则表达式,还是读写文件等等最好都通过unicode来进行。

Python解释器在导入Python代码文件并执行时,会先查看文件头有没有编码声明(例如# -*- coding: utf-8 -*-等)。如果发现声明,如# -*-coding: utf-8 -*-,会将文件中的字符串从utf-8先解释成unicode的形式;如果文件头没有编码声明,则会以默认的ASCII来解释成unicode的形式。

2.解码函数decode()和编码函数encode()

在Python中,解码函数是decode(),编码函数是encode()。

﹒decode()的作用是将其他编码的字符串转换成unicode 格式,例如:name.decode(“utf-8”),表示将utf-8编码的字符串name转换成unicode

﹒encode()的作用是将unicode编码转换成其他编码的字符串,例如:

name.encode(“GB2312”),表示将GB2312编码的字符串name转换成GB2312

当代码中同时有编码声明(例如# -*- coding: utf-8 -*-等)和编码函数encode(‘gbk’),Python在执行时会优先选择真实编码gbk。当存在encode(‘gbk’)时,即便在开头申明了#-*- coding: utf-8 -*-,没有指定解码方式,程序是会报错的。

解决方案:在中文“哈哈”前加上字符“u”,直接使字符是unicode类型,不用再将“哈哈”去解码操作。

注意:上图中的 '\xb9\xfe\xb9\xfe'是“哈哈”的gbk编码;'\xe5\x93\x88\xe5\x93\x88'是“哈哈”的utf-8编码。上图说明,当存在encode(‘gbk’)时,即便在开头申明了#-*- coding: utf-8 -*-,在执行时会优先选择encode()函数中的gbk编码方式。

需要注意的一点是,假设stra=‘哈哈’,如果我们调用stra.encode(),这里涉及到一个隐士的类型转化,会先将stra转化成unicode,才能进行编码,这也是不太容易理解的地方。而在中文前添加“u”字符,就使得stra转化成unicode这一步略去。

3.Python解码

解码是Python自动进行的,我们在程序开头没有编码声明(如:#-*-coding:utf-8-*-),也没有指明解码方式,Python就会使用sys.defaultencoding指明的方式来解码。很多情况下sys.defaultencoding是ASCII。

4.Python编码

Python默认采用ASCII编码,而ASCII编码不能用来编码中文字符。举个简单的例子:

如下图,运行脚本时会有提示。因为Python编码默认是ASCII编码,不支持中文。

解决方案1:在文件开头输入支持中文的编码方式:# -*- coding: gbk -*-。

解决方案2:Python2.x默认是不支持中文的,我们在程序的开头加上#-*-coding:utf-8-*-,并在中文前加上“u”字符,也可以解决这个问题。这里的“u”表示将后面跟的字符串以unicode格式存储,然后Python会根据程序第一行的utf-8编码识别代码中的中文“你好”,然后转换成unicode对象(重申一下:中文前加“u”,直接免去“将字符串解码成unicode”这一步的操作哦)。

补充一点:如果在中文前没有添加“u”,仅仅在程序的开头加上#-*-coding:utf-8-*-,屏幕上打印出的不是“你好”,如下图。这是由于Python编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的是gbk,而在代码中使用的utf-8,Python按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。

总之,在Python2.x版本中使用中文,最好在程序开头添加一行声明文件编码的注释:#-*-coding:utf-8-*-,然后在中文前添加“u”字符。可以不使用解码、编码函数,就尽量别使用(真的会绕晕的,哈哈……)。

原创文章,仅代表非比君个人观点,说的不一定是对的,欢迎大家指正。

用微信添加 非比测试 公众号即可订阅。转载请保留作者、公共账号信息,内容必须与本文保持严格一致,不得修改/替换/增减本文包含的任何文字,不得擅自增加小标题、引语、摘要等。本公众号一切内容禁止摘编、衍生及演绎。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171211G0F17700?refer=cp_1026

扫码关注云+社区