专栏首页python3Python、Unicode和中文

Python、Unicode和中文

Python、Unicode和中文

python的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一下这方面的知识。当然,几乎可以确定的是,在将来的版本中,python会彻底解决此问题,不用我们这么麻烦了。

先来看看python的版本: >>> import sys >>> sys.version '2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一) 用记事本创建一个文件ChineseTest.py,默认ANSI: s = "中文" print s

测试一下瞧瞧: E:/Project/Python/Test>python ChineseTest.py   File "ChineseTest.py", line 1 SyntaxError: Non-ASCII character '/xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.pytho n.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8: E:/Project/Python/Test>python ChineseTest.py   File "ChineseTest.py", line 1 SyntaxError: Non-ASCII character '/xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.pytho n.org/peps/pep-0263.html for details

无济于事。。。 既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明: # coding=gbk s = "中文" print s

再试一下: E:/Project/Python/Test>python ChineseTest.py 中文

正常咯:) (二) 看一看它的长度: # coding=gbk s = "中文" print len(s) 结果:4。 s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。 我们这样写: # coding=gbk s = "中文" s1 = u"中文" s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码 s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同 print len(s1) print len(s2) print len(s3) 结果: 2 2 2 (三) 接着来看看文件的处理: 建立一个文件test.txt,文件格式用ANSI,内容为: abc中文 用python来读取 # coding=gbk print open("Test.txt").read() 结果:abc中文 把文件格式改成UTF-8: 结果:abc涓枃 显然,这里需要解码: # coding=gbk import codecs print open("Test.txt").read().decode("utf-8") 结果:abc中文 上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时, 运行时报错: Traceback (most recent call last):   File "ChineseTest.py", line 3, in <module>     print open("Test.txt").read().decode("utf-8") UnicodeEncodeError: 'gbk' codec can't encode character u'/ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。 因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量: # coding=gbk import codecs data = open("Test.txt").read() if data[:3] == codecs.BOM_UTF8:  data = data[3:] print data.decode("utf-8") 结果:abc中文

(四)一点遗留问题 在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢? 第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样? 修改一下源文件: # coding=utf-8 s = "中文" print unicode(s, "utf-8") 运行,报错: Traceback (most recent call last):   File "ChineseTest.py", line 3, in <module>     s = unicode(s, "utf-8") UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data 显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。 更进一步的例子,如果我们这里转换仍然用gbk: # coding=utf-8 s = "中文" print unicode(s, "gbk") 结果:中文 翻阅了一篇英文资料,它大致讲解了python中的print原理: When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display.

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。 最后测试: # coding=utf-8 s = "中文" print unicode(s, "cp936") 结果:中文 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 安装python,setuptools,

    安装python,setuptools,get-pip.py,ipython,构建python开发环境

    py3study
  • python模块之paramiko学习<

    简介: paramiko是python(2.2或更高)的模块,遵循SSH2协议实现了安全(加密和认证)连接远程机器。 安装所需软件包: http://ft...

    py3study
  • python开头的coding设置

    写完python代码运行时,报类似SyntaxError: Non-ASCII character ‘\xe5’ in file *.py, 基本可以断定,...

    py3study
  • Github 项目推荐 | TensorFlow 项目模板架构最佳实践

    一个简单且设计良好的架构对于任何深度学习项目来讲非常有必要,这里的 Tensorflow 项目模板经过了大量的实践,拥有简单性、良好的文件结构以及 OOP 设计...

    AI研习社
  • 《2017年度网络空间安全报告》重磅发布!

    2018年1月17日,由中国互联网协会指导、安恒信息主办的2017年度网络空间安全报告发布会,在北京丽亭华苑酒店隆重召开。会上,由安恒信息和中国科学院计算技术研...

    安恒信息
  • Bash shell中四种算术运算方式的区别与联系简介

    版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢

    耕耘实录
  • 客户实践 | 泰康保险集团基于 Jira 打造 DevOps 工具链

    作者简介:郭鸿,泰康保险集团 Jira 和 Confluence 组织级管理员及敏捷教练。负责集团及子公司的 DevOps 落地实施及推广和 TDS(Taika...

    Criss@陈磊
  • django2 django-celery djcelery beat task 循环任务

    在celery_pro目录下 ( settings.py同一目录 ) 新建celery.py文件

    Coxhuang
  • 一、Node.js入门

    NodeJs是一个基于谷歌V8引擎的运行环境。(服务器上的v8引擎就是node.js)

    Dreamy.TZK
  • 4399AT UI自动化CI与CD

    看完了这三者的区别,目前4399AT是达到了CI和CD(持续交付)阶段,接下来我们说下4399AT的CI与CD; 以下均以安卓项目APP为基础来进行讲解: 软件...

    FunTester

扫码关注云+社区

领取腾讯云代金券