编码问题在 Python 中一直是个巨坑。关于 Python 2 的编码问题,之前写过一篇文章:
在 Python 3 中,编码问题得到了改进,str 类型直接使用 unicode 进行存储,不带有编码。但真的就一劳永逸了吗?事实上,虽然填上了一些坑,但也会带来新的坑。尤其结合 Windows 使用,那酸爽……真是谁用谁知道?。
Crossin编程教室的 WooDumpling 同学在学习中做了一点总结,分享 Python 3 的学习者。
bytes unicode str encode decode
相当于Python2中的str
类型,从网页上抓取下来的数据流也是该类型的
在Python3中,要得到一个byte
类型的变量,可以在字符串内容前面加入b
得到,但前提是该字符串的内容是可以完全由ascii码表示的,否则会出现语法错误
>>>s1 = "你好"
>>>s1
'你好'
>>>type(s1)
<class 'str'>
>>>s2 = b'你好'
>>>
File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>>s2 = b'abc'
>>>s2
b'abc'
>>>type(s2)
<class 'bytes'>
unicode为解决传统字符编码的局限性而产生,为每一种语言的每一个字符设置了统一且唯一的二进制码,Python内部用于记录的也是该编码方式
上面的例子中s1就是通过unicode
码来进行存储的
在Python3中的str
类型对应的就是Python2中的unicode
类型,即以统一的unicode
码保存。而且,在Python3中,程序中所设置的字符串即直接保存为统一的str
类型(unicode)
上面的例子中s1就是str类型的变量
由于存在着这两种不同的类型,势必要牵涉到二者的互相转化。bytes
通过某一种编码方式(encode)得到str
,而str
通过某一种解码方式(decode)得到bytes
unicode
是表示了世界上所有的字符的, 但是其内部的存储是以二进制位存储的,比如你好
的unicode
编码为\u4f60\u597d
但是我们所见到的并不是\u4f60\u597d
这一串编码,而是你好
这两个汉字
这是由于控制台环境本身提供一个编码方式,比如uft-8
,gbk
,cp936
等,通过这些编码方式,unicode
码就转换成了我们可识别的字符了
但是,不同的编码方式之间是存在区别的,当得到一个通过A方式编码得到的bytes
类型,如果用B方式去进行解码的话,它就会按照B的标准去解读,那样就会出现乱码的现象
s = "你好"
print(s)
s1 = s.encode("utf-8").decode("gbk")
print(s1)
# output
# 你好
# 浣犲ソ
因此,开发的时候要弄清楚输入来源的编码以及输出环境的编码,尽可能保证一致性,或者做好转换的工作,可以减少出现乱码的可能性
这一情况可以通过chardet
模块的detect()
函数来获取信息,chardet
是第三方库,可以通过pip
来安装
# b是待检测的bytes变量
import chardet
print(chardet.detect(b))
# output
# {'confidence': 1.0, 'encoding': 'ascii'}
confidence
是指匹配程度,encoding
是指可能的编码方式
这一情况可以使用sys
模块下的getdefaultencoding()
函数来获取信息
import sys
print(sys.getdefaultencoding())
# output
# utf-8
写上面的东西的时候产生了一个疑问,现在已经知道Python内部存储str
的方式是使用unicode
字符集,但是我们在屏幕上看到的并不是unicode
字符集
s = "你好"
print(s)
# output
# 你好
# s's unicode is \u4f60\u597d
那么,这中间应该是进行了某种转换
实际上,在执行print(str)
的时候,python内部执行了encoding
操作,控制台拿到的其实是一个bytes
变量
之后,控制台又根据环境内部的编码方式,将所得到的bytes
内容进行decoding
的操作,就显示了原先str
的内容