教你一招 | Python3新特性(一) :字符串

从python2转到python3的第一个问题就是字符串的问题,我花了些时间把我能想到的和字符串处理有关的东西都整理如下。

1、Python2的字符串编码

在python2.X中的字符串编码有点麻烦,它所有的“普通字符串”是ascii码存储的,unicode字符串是16位unicode码存储的,这个时候就经常出现转换、乱码的问题。

1.1 python2中的普通字符串

>>> a="abc"
>>> print a
abc
>>> print repr(a)
'abc'
>>> type(a)
<type 'str'>
#普通字符串可以decode成unicode类型,unicode字符串前面带u
>>> a.decode()
u'abc'
>>> type(a.decode())
<type 'unicode'>

这里介绍一个函数,repr,repr(a)将显示对象a(这里是字符串)在解释器里面的样子 :repr() is meant to generate representations which can be read by

the interpreter

在这里可以看到python中的“普通字符串”在解释器里面是用ascii表示的。

1.2 python2中的中文

在python2中,字符串可以直接为中文

>>> b="中文"
>>> print b
中文
>>> print repr(b)
'\xe4\xb8\xad\xe6\x96\x87'
#懂行的人能看出这是utf-8编码的
>>> type(b)
<type 'str'>
#b是utf-8编码的,可以decode成unicode,有两种方法
#但是显示必须指出b的编码规则,
>>> b.decode("utf-8")
u'\u4e2d\u6587'
>>> unicode(b,"utf-8")
u'\u4e2d\u6587'
#在某些时候需要得到一些其他编码的字符串,比如gbk
#需要对utf-8的字符串通过unicode进行一个中转,再encode到gbk
>>> c=b.decode("utf-8").encode("gbk")
>>> c
'\xd6\xd0\xce\xc4

1.3 python2中的unicode

在上面其实已经解除到了一些unicode了,简单来说,unicode就是一种包容性很强的编码,如果你在一开始就将字符串定义成了unicode类型,那么在完成字符串处理之后,可以自行encode成任意的编码:

>>> d=u'abc'
>>> type(d)
<type 'unicode'>
>>> d.encode("gbk")
'abc'
#来个复杂点的
>>> e=u"哈哈。&¥gaw"
>>> e
u'\u54c8\u54c8\u3002&\uffe5gaw'
>>> e.encode("utf-16")
'\xff\xfe\xc8T\xc8T\x020&\x00\xe5\xffg\x00a\x00w\x00'

unicode是一个比较基础的字符串类型,他可以encode成其他的字符串,所以在python3之后默认的字符串类型就变成了unicode,不在需要使用“u”去定义个unicode串,这也是导致python2和3不兼容的一个重要改变。

1.4 python2中的字节流

在python2中str类型的字符串可以被打包成字节流,struct模块详细用法可以参考这篇文章:

http://dtysky.moe/article/Skill-2016_06_06_b

例子如下:

>>> e=u"哈哈"
>>> g=e.encode("gbk")
>>> d=e.encode("utf-8")
>>> g
'\xb9\xfe\xb9\xfe'
>>> d
'\xe5\x93\x88\xe5\x93\x88'
>>> import struct
#将g的前两个字节转成字节流,再转成unicode打印出来
>>> g1=struct.pack("ss",*g[0:2])
>>> g1
'\xb9\xfe'
>>> g1.decode('gbk')
u'\u54c8'
>>> print g1.decode('gbk')
哈
#再来处理d,将d的字节流
>>> d
'\xe5\x93\x88\xe5\x93\x88'
>>> d1=struct.pack("ss",*d[0:2])
>>> d2=struct.pack("ss",*d[2:3])
>>> d1
'\xe5\x93'
>>> d2
'\x88'
>>> print d1+d2
哈
#最后做个比较,加深印象
>>> d1+d2==g1
False
>>> g1
'\xb9\xfe'
>>> unicode(d1+d2,"utf-8")==unicode(g1,'gbk')
True

由此可以看出字节流其实也是字符串,他们可以相加,也可以截断,相加之后还能继续进行解码,得到同样的unicode对象。但同时我们可以看到在python2中,字符串和字节流混用了同一个类型(str),但是字符串(str)和unicode又同时可以显示文字。这也是经常让人抓狂的地方。

好在python3对这一点进行了巨大的变革,对文本和二进制数据作了更为清晰的区分。文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes,正是这使得两者的区分特别清晰。你不能拼接字符串和字节包,也无法在字节包里搜索字符串(反之亦然),也不能将字符串传入参数为字节包的函数(反之亦然)。这是件好事。

2、Python3中的字符串

有了上面的基础,不用花太多时间就能把python3中的字符串讲清楚。

2.1 python3中的普通字符串

在python3中,str默认使用的编码就是unicode,看例子

>>> a='abc'
>>> a
'abc'
>>> print (repr(a))
'abc'
>>> b="哈哈"
>>> print(b)
哈哈
>>> print (repr(b))
'哈哈'
>>> b.encode("unicode-escape")
b'\\u54c8\\u54c8'
>>> b.encode("gbk")
b'\xb9\xfe\xb9\xfe'
>>> b.encode("utf-8")
b'\xe5\x93\x88\xe5\x93\x88'
>>> b.encode("utf-16")
b'\xff\xfe\xc8T\xc8T'
>>> b.decode
#可以看到python3中字符串没有decode功能了
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'str' object has no attribute 'decode'

在上面的例子可以看到,在字符串encode之后,得到的结果是一个类似于b’\xb9\xfe\xb9\xfe’的字节流,这个字节流是bytes类型的,python3中bytes类型和str类型非常的类似,他们之间的转换关系。

  • bytes→str: decode过程
  • str→bytes: encode过程

下面看个例子:

#可以直接定义一个byte类型的字节流,直接decode成字符串(str,也就是unicode)
>>> c=b'\xff\xfe\xc8T\xc8T'
>>> type(c)
<class 'bytes'>
>>> c.decode("utf-16")
'哈哈'
#或者
>>> str(c,encoding="utf-16")
'哈哈'

现在在做字符流截断的操作就很简单清楚了:

>>> e='哈哈'
>>> d=e.encode("utf-8")
>>> d
b'\xe5\x93\x88\xe5\x93\x88'
>>> d1=d[0:2]
>>> d2=d[2:3]
>>> (d1+d2).decode("utf-8")
'哈'

原文链接:http://www.jianshu.com/p/796917897fdc

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2016-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IMWeb前端团队

JavaScript强化教程——使用误区

本文为 H5EDU 机构官方 HTML5教程,主要介绍:JavaScript强化教程 —— 使用误区 JavaScript使用误区 本章节我们将讨论 JavaS...

2016
来自专栏编程

对php多态的理解

「PHP开发者」 致力于做最专业的PHP中文开发者交流平台 php是面向对象的脚本语言,而我们都知道,面向对象的语言具有三大特性:封装,继承,多态。php理应具...

2687
来自专栏架构师之旅

javascript深入理解js闭包

一、变量的作用域 要理解闭包,首先必须理解Javascript特殊的变量作用域。 变量的作用域无非就是两种:全局变量和局部变量。 Javascript语言的特殊...

24510
来自专栏游戏开发那些事

【读书笔记】读《程序员面试宝典》

  最近有幸拜读了《程序员面试宝典》(第五版)这本书,此书真乃良心之作,尤其对于我们这种未毕业的学生来说,更是一本不可多得的宝贵资料。

2982
来自专栏余林丰

Java中的Object、T(泛型)、?区别

因为最近重新看了泛型,又看了些反射,导致我对Object、T(以下代指泛型)、?产生了疑惑。 我们先来试着理解一下Object类,学习Java的应该都知道Obj...

26210
来自专栏从流域到海域

Python函数参数总结(位置参数、默认参数、可变参数、关键字参数和命名关键字参数)

Python函数的参数多达5种,不像Java那样参数只有一种,而是像C++那样提供默认参数,除此之外,还提供可变参数、关键字参数、命名关键字参数,这样就使...

36610
来自专栏Java帮帮-微信公众号-技术文章全总结

Java基础-day10-基础题-继承;抽象类

Java基础-day10-基础题-继承&抽象类 什么是继承?继承有什么好处? 继承是面向对象最显著的一个特性。继承是从已有的类中派生出新的类,新的类能吸收已有类...

3736
来自专栏源哥的专栏

BASE64编码

附录:BASE64编码的原理(节选自http://www.vbzx.net/ArticleView/vbzx_Article_View_1199.asp)

984
来自专栏程序员互动联盟

【编程基础】C++引用简单介绍

对于习惯使用C进行开发的朋友们,在看到c++中出现的&符号,可能会犯迷糊,因为在C语言中这个符号表示了取地址符,但是在C++中它却有着不同的用途,掌握C++的&...

3228
来自专栏WindCoder

《简明 Python 教程》学习笔记-控制流

1.为内建的raw_input函数提供一个字符串,这个字符串被打印在屏幕上,然后等待用户的输入。一旦我们输入一些东西,然后按回车键之后,函数返回输入。对于raw...

690

扫码关注云+社区

领取腾讯云代金券