首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >UnicodeDecodeError,无效的继续字节

UnicodeDecodeError,无效的继续字节
EN

Stack Overflow用户
提问于 2011-04-05 21:23:41
回答 8查看 971.6K关注 0票数 365

为什么下面的项目失败了?为什么使用“拉丁语-1”编解码器会成功?

代码语言:javascript
复制
o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

这会导致:

代码语言:javascript
复制
 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
EN

回答 8

Stack Overflow用户

回答已采纳

发布于 2011-04-05 21:29:13

在二进制中,0xE9看起来像1110 1001。如果您阅读过UTF-8 on Wikipedia,就会发现这样的字节后面必须跟两个10xx xxxx形式的字节。所以,举个例子:

代码语言:javascript
复制
>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是异常的机械原因。在本例中,您的字符串几乎肯定是用拉丁语1编码的。您可以看到UTF-8和拉丁语1的不同之处:

代码语言:javascript
复制
>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(请注意,我在这里使用的是Python 2和3的混合表示。输入在任何版本的Python中都是有效的,但是Python解释器不太可能以这种方式同时显示unicode和字节字符串。)

票数 315
EN

Stack Overflow用户

发布于 2011-04-05 21:26:57

它是无效的UTF-8。该字符是ISO-Latin1中的e-急性字符,这就是它使用该代码集成功的原因。

如果您不知道正在接收字符串的代码集,那么您就有麻烦了。最好是为您的协议/应用程序选择一个单独的代码集(最好是UTF-8),然后您就可以拒绝那些无法解码的代码集。

如果你不能做到这一点,你需要启发式。

票数 66
EN

Stack Overflow用户

发布于 2018-07-05 07:09:09

如果在操作刚打开的文件时出现此错误,请检查是否在'rb'模式下打开了该文件

票数 21
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5552555

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档