Python3 里不存在编码问题?

编码问题在 Python 中一直是个巨坑。关于 Python 2 的编码问题,之前写过一篇文章:

浅谈 Python 2 中的编码问题

在 Python 3 中,编码问题得到了改进,str 类型直接使用 unicode 进行存储,不带有编码。但真的就一劳永逸了吗?事实上,虽然填上了一些坑,但也会带来新的坑。尤其结合 Windows 使用,那酸爽……真是谁用谁知道?。

Crossin编程教室的 WooDumpling 同学在学习中做了一点总结,分享 Python 3 的学习者。

相关概念

bytes unicode str encode decode

  • bytes

相当于Python2中的str类型,从网页上抓取下来的数据流也是该类型的 在Python3中,要得到一个byte类型的变量,可以在字符串内容前面加入b得到,但前提是该字符串的内容是可以完全由ascii码表示的,否则会出现语法错误

>>>s1 = "你好"
>>>s1
'你好'
>>>type(s1)
<class 'str'>

>>>s2 = b'你好'
>>>  
    File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

>>>s2 = b'abc'
>>>s2
b'abc'
>>>type(s2)
<class 'bytes'>
  • unicode

unicode为解决传统字符编码的局限性而产生,为每一种语言的每一个字符设置了统一且唯一的二进制码,Python内部用于记录的也是该编码方式 上面的例子中s1就是通过unicode码来进行存储的

  • str

在Python3中的str类型对应的就是Python2中的unicode类型,即以统一的unicode码保存。而且,在Python3中,程序中所设置的字符串即直接保存为统一的str类型(unicode) 上面的例子中s1就是str类型的变量

  • encode与decode

由于存在着这两种不同的类型,势必要牵涉到二者的互相转化。bytes通过某一种编码方式(encode)得到str,而str通过某一种解码方式(decode)得到bytes

问题:为何会出现乱码的情况

unicode是表示了世界上所有的字符的, 但是其内部的存储是以二进制位存储的,比如你好unicode编码为\u4f60\u597d 但是我们所见到的并不是\u4f60\u597d这一串编码,而是你好这两个汉字 这是由于控制台环境本身提供一个编码方式,比如uft-8gbkcp936等,通过这些编码方式,unicode码就转换成了我们可识别的字符了 但是,不同的编码方式之间是存在区别的,当得到一个通过A方式编码得到的bytes类型,如果用B方式去进行解码的话,它就会按照B的标准去解读,那样就会出现乱码的现象

s = "你好"
print(s)
s1 = s.encode("utf-8").decode("gbk")
print(s1)

# output
# 你好
# 浣犲ソ

因此,开发的时候要弄清楚输入来源的编码以及输出环境的编码,尽可能保证一致性,或者做好转换的工作,可以减少出现乱码的可能性

问题:如何获取编码方式的信息?

  • 获取目标bytes的编码方式

这一情况可以通过chardet模块的detect()函数来获取信息,chardet是第三方库,可以通过pip来安装

# b是待检测的bytes变量
import chardet
print(chardet.detect(b))

# output
# {'confidence': 1.0, 'encoding': 'ascii'}

confidence是指匹配程度,encoding是指可能的编码方式

  • 获取当前环境的编码方式

这一情况可以使用sys模块下的getdefaultencoding()函数来获取信息

import sys
print(sys.getdefaultencoding())

# output
# utf-8

问题:在控制台上看到的到底是什么?

写上面的东西的时候产生了一个疑问,现在已经知道Python内部存储str的方式是使用unicode字符集,但是我们在屏幕上看到的并不是unicode字符集

s = "你好"
print(s)

# output
# 你好
# s's unicode is \u4f60\u597d

那么,这中间应该是进行了某种转换 实际上,在执行print(str)的时候,python内部执行了encoding操作,控制台拿到的其实是一个bytes变量 之后,控制台又根据环境内部的编码方式,将所得到的bytes内容进行decoding的操作,就显示了原先str的内容

原文发布于微信公众号 - Crossin的编程教室(crossincode)

原文发表时间:2016-10-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ASP.NETCore

.NET Core中妙用unsafe减少gc提升字符串处理性能

昨天在群里讨论怎么样效率的把一个字符串进行反转,一般的情况我们都知道,只要对String对象进行操作, 那么就会生成新的String对象,比如"1"+"2" 这...

48610
来自专栏java一日一条

代码优化那些事

/**************************************************************************/

7030
来自专栏Golang语言社区

《GO并发编程实战》—— 原子操作

我们已经知道,原子操作即是进行过程中不能被中断的操作。也就是说,针对某个值的原子操作在被进行的过程当中,CPU绝不会再去进行其它的针对该值的操作。无论这些其它的...

46570
来自专栏游戏开发那些事

【游戏开发】在Lua中实现面向对象特性——模拟类、继承、多态

  Lua是一门非常强大、非常灵活的脚本语言,自它从发明以来,无数的游戏使用了Lua作为开发语言。但是作为一款脚本语言,Lua也有着自己的不足,那就是它本身并没...

27020
来自专栏腾讯IVWEB团队的专栏

从 redux 的纯函数到函数式编程

在做业务时我们用 react + redux 框架,其中 redux 的 reducers 是用的纯函数。这里什么是纯函数?为什么要用纯函数?纯函数的好处是什么...

36700
来自专栏编程一生

PHP开发人员对JAVA的WEB开发入门(初版-基础知识)

13340
来自专栏JavaQ

多参数方法进阶

很多高级工程师还在写包含N个参数的方法、使用setter方法构造实例,其实这些方式都是过时并且有很大缺陷的,本篇将深入讲解这些问题及解决方法。 多参数方法的问题...

352110
来自专栏老九学堂

【超详细】Java入门学习进阶知识点汇总

入门阶段,主要是培养Java语言的编程思想。了解Java语言的语法,书写规范等,掌握Eclipse、MyEclipse等开发工具,编写Java代码的能力。学完这...

42150
来自专栏angularejs学习篇

angularjs学习第九天笔记(指令作用域【隔离作用域】研究)

9420
来自专栏思考的代码世界

Python编程从入门到实践之字典|第5天

在Python中,字典是一系列键—值对。每个键都与一个值相关联,你可以使用键来访问与之 相关联的值。与键相关联的值可以是数字、字符串、列表乃至字典。事实上,可将...

37190

扫码关注云+社区

领取腾讯云代金券