浅谈 Python 2 中的编码问题

Python 2.x 里的编码实在是一件令人烦躁的事情。不断有初学者被此问题搞得晕头转向。我自己也在很长一段时间内深受其害,直到现在也仍会在开发中偶尔被坑。在本教室的提问和讨论中,编码问题也占据了相当大的比重。

然而这个问题并不能一两句话轻易解答。今天在这里稍微分析一下,希望能帮各位理清这里面的问题。

要弄清编码问题,首先明确几个概念:

str、unicode、encode、decode

str

就是我们通常说的字符串,在 python 中是由引号包围的一串字符。但是 Python 中的默认字符并不包括中文及其他复杂字符(其他非英语语言、特殊符号等)。虽然你可以定义"你好"这样的字符串,但在 Python Shell 中输入一下你就会发现:

>>> '你好' '\xe4\xbd\xa0\xe5\xa5\xbd'>>>

在程序中,这两个字符是被其他的一些按照某种格式的普通字符所表示。进一步地,输入:

>>> len('你好') 6

字符串的长度也并不是想象中的2。

这就是我们一直说的编码。即通过某种规定的形式,用一些字符表示另一些字符。目的就是为了用少量的简单字符表示更多更复杂的字符。

上述的结果,是因为我的 Python Shell 里默认使用 UTF-8 对字符进行了编码。如果你在 Windows 下进行尝试,会是不一样的结果,因为 Windows 默认使用的是一种叫做 cp936 的编码。

当你需要通过 Python 得到某些输入或者输出,比如读取网页,输出到控制台,读写文件等等,需要处理的都是 str 类型。所以必然逃不过编码的问题。

unicode

为了处理不同编码的字符,于是有了 unicode。unicode 本身是一种编码,因为足够的长度,它可以包容各种文字和符号。同时它也是 Python 中的一种类型。在表示形式上,是字符串的引号前加上一个 u。比如

>>> u'你好' u'\u4f60\u597d' >>> type(u'你好') <type 'unicode'> >>> type('你好') <type 'str'>

可以看出,unicode 和 str 是两种不同的类型。

虽然 unicode 很强大,但在 Python 2 中,它不能被直接输出,而必须通过某种编码转成 str。

encode & decode

encode 是 unicode 的一种方法,作用是按照某种形式对其进行编码,转为 str。如:

>>> u'你好'.encode('utf-8') '\xe4\xbd\xa0\xe5\xa5\xbd'

decode 是 str 的一种方法,作用是按照某种形式对其进行解码,转为 unicode。如:

>>> '你好'.decode('utf-8') u'\u4f60\u597d'

对 unicode 进行 encode 没太大问题,但对 str decode 时,因为 str 本身是有某种编码的,这时候如果指定的编码不符,就会产生讨厌的乱码:

>>> '你好'.decode('cp936') u'\u6d63\u72b2\u30bd' >>> print '你好'.decode('cp936') 浣犲ソ

在默认的 utf-8 编码环境下强行使用 cp936 编码,就会出现乱码。

小结一下就是:

输入 -> str -> decode -> unicode -> encode -> str -> 输出

那么通常问题出在哪里呢?

一般情况下,我们在程序里做的只是

输入 -> str -> 逻辑处理 -> str -> 输出

但在输入输出过程和中间的逻辑处理时,很可能 Python 帮我们默认做了一些 encode 和 decode 的工作。比如说,print 会按照环境的默认形式进行编码,当在需要 unicode 类型的操作而程序拿到的是一个 str 类型是,会使用 ascii 进行解码。前者将可能导致乱码显示,而后者就直接报错。

举两个例子:

1

程序从网上抓取一段网页,中间的文字是 gbk 编码,如 '\xbb\xb6\xd3\xad'(欢迎)。但抓取下来,从默认 utf-8 控制台输出时,就变成了 ��ӭ。同理存在于,Windows 下抓取了 utf-8 编码的网页。正确的处理方法是手动做一次解码:

>>> s = '\xbb\xb6\xd3\xad' >>> print s ��ӭ >>> s.decode('gbk') u'\u6b22\u8fce' >>> print s.decode('gbk') 欢迎

2

程序有一段从输入得到的 cp936 编码文字,如 '\xd5\xc5\xc8\xfd'(张三),和从数据库取出的 unicode 字符串,如 u'\u597d\u4eba'(好人),两者需要做拼接时:

>>> a = '\xd5\xc5\xc8\xfd' >>> b = u'好人' >>> a + b Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xd5 in position 0: ordinal not in range(128)

抛出了经常发生的 UnicodeDecodeError 异常。这是因为在 str 和 unicode 做 + 操作时,会自动将 str 转成 unicode,并且使用了 ascii 编码。同样的问题也会发生在对一个 str 对象直接使用 encode 的时候。比如:

>>> a = '\xd5\xc5\xc8\xfd' >>> a.encode('utf-8')

原因也是一样,encode 是 unicode 类型的方法,对 str 进行调用时,程序会默认先直接试图用 ascii 编码把 str 转成 unicode。

正确的做法:

>>> a.decode('cp936') + b u'\u5f20\u4e09\u597d\u4eba' >>> a.decode('cp936').encode('utf-8') '\xe5\xbc\xa0\xe4\xb8\x89'

另外还有个要注意的地方是,Python 代码的 py 文件默认是是用 ascii 编码,所以在程序里有中文的时候,需要在文件开头指定编码,例如:

# coding: utf-8

有些 IDE 比如 PyScripter 会另外设置你的文件编码,有时还会有冲突。

要注意搞清:

程序文件本身的编码 - 你在程序里赋值的字符串

输入来源的编码 - 获取的变量值

输出环境的编码 - 控制台、文件、网页

最好能保证这几个的一致性,不一致时也要做好相应的转换,才能避免掉进编码的坑。

最后,为巴黎恐怖袭击中的遇难者以及所有战争的受害者哀悼。本教室有不少身处国外的读者,各位注意自身安全。愿大家都平安。

原文发布于微信公众号 - Crossin的编程教室(crossincode)

原文发表时间:2015-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

干货 | 数据科学入门必读:如何使用正则表达式?

有时候,这些数据中会包含大量文本语料。比如,假如我们需要搞清楚「xxx文件 」中谁给谁发送过邮件,那么我们就要筛查 1150 万份文档!我们可以采用人工方式,亲...

13520
来自专栏iKcamp

翻译连载 | 第 9 章:递归(下)-《JavaScript轻量级函数式编程》 |《你不知道的JS》姊妹篇

原文地址:Functional-Light-JS 原文作者:Kyle Simpson-《You-Dont-Know-JS》作者 第 9 章:递归(下) 栈、堆 ...

24950
来自专栏Brian

Python进阶教程(一)

概述 hi,朋友们大家好,今天将英文原著作者 @yasoob《Intermediate Python》进行翻译和在工作中使用的Python技巧进行了总结。Git...

38970
来自专栏java工会

导致程序崩溃的一行代码,你有写过吗?

初学编程时,可能经常遇到一些程序崩溃的现象。一般来说,程序崩溃由于操作不当引起的。但是有时候,因为一个程序员的粗心,正式版本的程序出现崩溃状况这就很不因该了。之...

13520
来自专栏Java成神之路

java_面试_01_一个月的面试总结(java)

       JVM内存管理机制和垃圾回收机制(基本每次面试都会问,一定要搞得透彻)

12930
来自专栏owent

C++ 新特性学习(一) -- 概述+智能指针(smart_ptr)

C++ 0x/11 终于通过了,真是个很爽的消息。于是乎我决定对新的东西系统学习一下。

10710
来自专栏小红豆的数据分析

小蛇学python(19)装饰器

python的装饰器是python的特色高级功能之一,言简意赅得说,其作用是在不改变其原有函数和类的定义的基础上,给他们增添新的功能。

11520
来自专栏Java技术栈

一个正则表达式酿成的惨案…

导读:正则表达式是程序员经常使用的工具之一。本文作者通过一个正则表达式的陷阱,先深入剖析了出现问题的原因,后给出怎么处理这类问题的方法。最后还给出了一些检测常见...

11010
来自专栏恰童鞋骚年

【译】.NET中六个重要的概念:栈、堆、值类型、引用类型、装箱和拆箱

  一来是为了感受国外优秀技术社区知名博主的高质量文章,二来是为了复习对.NET技术的基础拾遗达到温故知新的效果,最后也是为了锻炼一下自己的英文读写能力。因为是...

8120
来自专栏程序员互动联盟

【一起学python】print 语句

联盟有个小伙伴,为了督促自己学习进步,决定把自己以前学的python重新梳理下,并且以文章的方式展示出来,联盟专门做一起学python系列专栏,鼓励这位小伙伴学...

36270

扫码关注云+社区

领取腾讯云代金券