专栏首页木东居士的专栏用python的算法工程师们,编码问题搞透彻了吗?

用python的算法工程师们,编码问题搞透彻了吗?

用python的算法工程师们,编码问题搞透彻了吗?

本文为数据茶水间群友原创,经授权在本公众号发表。

关于作者:Milter,一名机器学习爱好者、NLP从业者、终生学习者,欢迎志同道合的朋友多多交流

0x00 前言

人类使用文本,计算机使用字节序列 by Esther Nam and Travis Fischer

我之前写过一个篇关于python编码的文章,在这里:https://www.jianshu.com/p/eb22cee6c553。但是,我觉得还是说的不够透彻,并且主要是在讲python2,所以决定再写一篇。本篇中的例子主要是用python3.7。

0x01 当我说字符时,我在说什么?

当我们提起字符串时,每个程序员都能理解到,我们说的是一个字符序列。但是,当我们说字符时,很多人就困惑了。

写在纸上的字符很容易辨识,但是为了将不同的字符在计算机中标识出来,人类发明了unicode字符。简单讲,unicode可以看成是一个标准的函数,它将一个具体的字符映射成0-1114111之间的一个数字,这个数字叫做码位

通常,码位用十六进制表示,并且前面会加上“U+”的字样。例如,字母A的码位是U+0041。 按道理说,我们在计算机中,用unicode的码位来代表字符就很完美了。实际上,python3中的str对象和python2中的unicode对象在内存中就是用码位来表示字符的。

但是,由于全世界的字符比较多,导致表示码位的数字也要用long或者int这样的数据类型表示,每个字符都要占固定的几个字节。在存储到磁盘或者通过网络进行传输时,比较浪费空间。于是,聪明的人类又搞了一个函数,这个函数将一个码位映射成字节序列。映射的目的是减少占用的空间。这个函数就是编码。也就是说,编码是在码位和字节序列之间转换时使用的算法。

比如大写字母A(U+0041),使用UTF-8编码后是\x41,这里\x表示一个字节,字节的值是41。我们看到,如果用U+0041 这个整数代表大写字母A,需要4个字节,因为一个整数就是用4个字节表示的,经过编码后,只占用了一个字节,达到了减少减少空间的目的。

这里提示一下,下文中,当我们再说到码位时,可以将其简单想象成一个int。

0x02 python3中码位和编码是如何表示的

在python3的代码中,str类型的对象就是用码位表示的字符串, 编码后的字节序列可以用bytes类型的对象表示。如下所示:

可以将bytes类型的对象看成一个数组,切片啥的都不在话下,里面的元素是介于0-255(含)之间的整数。

从python2.6起,新增一个类似的类型,bytearray。它和bytes很像,不同之处有两点:

  • 没有字面量句法,看图:

上图是bytes对象的字面量创建方法。bytearray没有类似的构造方法,它只能这样获得:

  • bytes不可变,bytearray可变

当我们print一个bytes对象时,常常会看到这种情况:b'caf\xc3\t'

看起来有点乱,让我们来观察一下:

  • caf表示三个字节,这几个字节中的值就是caf三个字符的ascii码值,这里直接用caf三个字符表示了。
  • \xc3表示这个字节中的值是十六进制的c3,无法用ascii码值表示,所以这里用了两个字节的十六进制数表示。
  • \t表示,这个字节的值是tab字符,这里就用转义字符来表示了。

0x03 python中的编解码器

python有100多种编解码器!!!

第一次知道这个消息,我很震惊,人类真是喜欢折腾啊。

下面,让我们一起来欣赏一下几个常用的编解码器对一些字符的编码:

(注:截图来自《流畅的python》P88)

这些编解码器通常用在open(),str.encode(),bytes.decode()等函数中。最常见的编解码器肯定是utf-8。它还有几个别名,即 utf_8, utf8, U8。最好还是熟悉下这几个别名。

0x04 处理常见的编解码错误

在用python进行编解码时,经常发生各种错误。很多人的办法就是各种google各种试,搞定之后就不再管了。我自己之前就是这样。但更系统的办法就是理解常见的错误类型,在遇到时可以按步骤地去解决问题。下面我们就来看看常见的三类错误。

  • UnicodeEncoderError
    • 当你用了某个编码器将unicode字符进行编码输出时,如果这个编码器中没有包含某些要编码的unicode字符,就会发生UnicodeEncoderError。这种情况下,通常需要去改变所用的编码器。简单讲就是在将unicode进行encode时发生了error
  • UnicodeDecodeError
    • 在将一个字节序列用指定的解码器解码成unicode时,如果这个字节序列不符合解码器的要求,就会发生UnicodeDecoderError。这里的不符合要求有两种情况,一种是字节序列错误的,一种就是用的解码器不合适。
  • SyntaxError
    • python3默认使用UTF-8编码源码,python2则默认使用ASCII。如果加载的.py文件中包含UTF-8之外的数据,而且没有声明编码,就会发生SyntaxError。

处理编解码的最佳实践时,明确指定encoding字段,显式声明所用的编解码器。

0x05 几种编码默认值的区别

locale.getpreferredencoding()

这个设置是打开文本文件时,默认使用的解码器。如果open()文件时没有指定解码器,并且发生了错误,就要检查一下这个值。

如下是在我的电脑上测试的结果:

赶紧看看自己的电脑是什么编码吧。

sys.getdefaultencoding()

当在python程序内,在字节序列和字符串之间转换时,默认使用这个编码。python默认的是UTF-8。

sys.getfilesystemencoding()

这个是文件名默认的编解码器,注意:不是文件内容,只是文件名称。open()里面传入文件名给python,这时的文件名是unicode字符串,python是用这个编码器对名字进行编码,转成字节序列后再去文件系统中查找的。

如下所示,是我电脑上的结果:

注意和上面的locale.getpreferredencoding()进行一下对比哈。

sys.stdout.encoding和sys.stdin.coding

这时python标准输入输出使用的默认编码,在我的电脑上是这样的:

我们经常发现中文输出乱码时,原因要从两头找,一头就是python默认输出时使用的编码器,一 头就是显示的控制台使用的解码器,理论上,只要二者一致,就不会发生错误。

0xFF 无总结、不进步

上面所叙述的关于编解码的知识,如果真正掌握,足够应付工作需要了。真正掌握这些知识,还要在实际中遇到问题后,主动用这些知识来帮助查找问题,这样可以很快加深理解。

更多内容:

数据挖掘面试题之:生成模型 VS 判别模型

特征工程系列:特征筛选的原理与实现(上)

特征工程系列:特征筛选的原理与实现(下)

特征工程系列:数据清洗

数据团队思考:数据驱动业务,比技术更重要的是思维的转变

算法工程师应该具备哪些工程能力

本文分享自微信公众号 - 木东居士(Data_Engineering),作者:milter

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 别人家的元数据系统是怎么设计的

    木东居士
  • 特征工程系列:特征预处理(下)

    关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问、动手达人,期待与大家一起交流探讨机器学习相关内容~

    木东居士
  • Ubuntu安装Opencv记录(附人脸识别和人眼识别例子)

    木东居士
  • 漫谈计算机编码

    我们知道,在计算机内部,所有的信息都是以二进制形式进行存储。无论是字符,或是视频音频文件,最终都会对应到一串由 0 和 1 构成的数字串。所以从我们能看懂的人类...

    Single
  • 基础知识:字符编码

    1、什么实字符编码:将人识别的字符转换成计算机能识别的01,而转换的过程或者规则就是字符编码表。

    py3study
  • 刨根究底字符编码之零——前言

    字符编码是计算机世界里最基础、最重要的一个主题之一。不过,在计算机教材中却往往浮光掠影般地草草带过,甚至连一本专门进行深入介绍的著作都找不到(对这一点我一直很困...

    用户1876609
  • 计算机程序的思维逻辑 (6) - 如何从乱码中恢复 (上)?

    我们在处理文件、浏览网页、编写程序时,时不时会碰到乱码的情况。乱码几乎总是令人心烦,让人困惑。希望通过本节和下节文章,你可以自信从容地面对乱码,恢复乱码。 谈...

    swiftma
  • java字节和字符的区别

    Java采用unicode来表示字符,java中的一个char是2个字节,一个中文或英文字符的unicode编码都占2个字节,但如果采用其他编码方式,一个字符占...

    说故事的五公子
  • python开发【第一篇】

    Python内部提供一个 sys 的模块,其中的 sys.argv 用来捕获执行执行python脚本时传入的参数 # /usr/bin/env pyth...

    用户7798898
  • react项目预渲染开发

    react越来越火了,是开react开发的人员而是越来越多。但是因为单页应用SEO的问题,我们也不得不去解决这个问题。不管是哪里,都提供了两种方案,一种是SSR...

    踏浪

扫码关注云+社区

领取腾讯云代金券