如何修复或删除Python3中格式错误的utf-8字符
在Python3中修复或删除格式错误的UTF-8字符，可以采取以下几种方法：
- 使用try-except语句处理异常：在读取或处理包含格式错误的UTF-8字符的文本时，可以使用try-except语句捕获UnicodeDecodeError异常，并选择忽略、替换或删除这些字符。例如：
try:
with open('file.txt', 'r', encoding='utf-8') as f:
content = f.read()
except UnicodeDecodeError as e:
# 忽略错误字符
content = e.object[e.start:e.end].decode('utf-8', 'ignore')- 使用Unicode编码转换函数：可以使用Python的内置函数
encode()和decode()来处理格式错误的UTF-8字符。encode()函数将字符串转换为字节序列，而decode()函数将字节序列转换为字符串。通过指定错误处理方式，可以忽略、替换或删除格式错误的字符。例如：
text = '包含格式错误的UTF-8字符'
try:
encoded_text = text.encode('utf-8', errors='ignore')
decoded_text = encoded_text.decode('utf-8', errors='ignore')
except UnicodeDecodeError as e:
# 删除错误字符
decoded_text = ''.join(c for c in text if ord(c) < 65536)- 使用第三方库ftfy：ftfy是一个用于修复Unicode文本的Python库，可以自动检测和修复格式错误的UTF-8字符。可以使用pip安装ftfy库，并在代码中导入并使用它。例如：
import ftfy
text = '包含格式错误的UTF-8字符'
fixed_text = ftfy.fix_text(text)以上是修复或删除Python3中格式错误的UTF-8字符的几种常用方法。根据具体情况选择合适的方法进行处理。
参考链接：
相关·内容
我正在用Python创建XML文件，我的XML上有一个字段，我把文本文件的内容放在这里。我用的是
f = open ('myText.txt',"r")
data = f.read()
f.close()
root = ET.Element("add")
doc = ET.SubElement(root, "doc")
field = ET.SubElement(doc, "field")
field.set("name", "text")
field.text = data
浏览 5提问于2013-05-12得票数 41
我需要转换一个字符串，以便将它转换成人类可读的格式。
s = "that’s awful, Find – Best Quotes, “Music gives a soul to the universe, wings to the mind, flight to the imagination and life to everything.” ― Plato."
我想把这个字符串转换成"that’s awful, Find - Best Quotes, "Music gives a soul to the universe, wings to the min
浏览 0提问于2018-10-01得票数 1
回答已采纳
2回答
我正在尝试读取一个点文件，其中包含：
graph {
KZJLCHYE -- DJTGWUZZ;
PNLWKOXF -- BFSIOMPY;
...
}
但是，当我试图读取点文件时，我得到了"UnicodeDecodeError：'utf-8‘编解码器无法解码0位置的字节0xd0 :无效的连续字节“。是否只有使用标准库才能在Python中读取点文件的内容？
浏览 2提问于2015-12-02得票数 1
回答已采纳
2回答
我正在寻找一种将变量(可以是ASCII字符串、带有额外字符的unicode字符串，如é或£，或者浮点数或整数)转换为unicode字符串的方法。
variable.encode('utf-8')，其中variable是整数，结果为AttributeError: 'int' object has no attribute 'encode'
str(variable).encode('utf-8')，其中variable是字符串'£' results in UnicodeDecodeError: 'ascii&
浏览 0提问于2016-10-31得票数 5
我有一些Python代码，它接收包含错误unicode的字符串。当我尝试忽略错误字符时，Python仍然阻塞(2.6.1版)。下面是重现它的方法：
s = 'ad\xc2-ven\xc2-ture'
s.encode('utf8', 'ignore')
它抛出
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 2: ordinal not in range(128)
我做错了什么？
浏览 3提问于2011-05-25得票数 6
回答已采纳
我在用utf-8编码字符时遇到了麻烦。我正在使用Django，当我试图用非纯文本发送Android通知时，我得到了这个错误。我试图找出错误的来源，并设法找出错误的来源不在我的项目中。
在python shell中，我输入：
'ç'.encode('utf8')
我得到了这个错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can
浏览 0提问于2013-09-16得票数 16
回答已采纳
我正试图从网上抓起一篇文章，并把它写到数据库中。
如果我这么做
article = article.decode('utf-8')
我明白了：
'ascii' codec can't decode byte 0xc3 in position 25729: ordinal not in range(128)
如果我这么做
article = article.encode('utf-8')
我明白了：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in
浏览 8提问于2015-12-25得票数 2
回答已采纳
我有各种语言中的字符串数据，在这些语言中，字符串的部分编码/解码出现了错误，而另一些则是正确的，我需要修复错误的字符串：
以下是德语单词“Zubeh r”的一个例子：
correct = "ZUBEHÖR"
incorrect = "ZUBEHÃ\x96R"
我已经发现我可以纠正这样的错误：
incorrect.encode("raw_unicode_escape").decode("utf8")
但是，在正确的字符串上使用此方法会产生错误。我可以遍历所有字符串并使用try-statement，但我不知道这是否可靠，我想知道一种更
浏览 7提问于2020-01-23得票数 1
回答已采纳
我有一个包含非ascii字符的数据库。我需要清理整个数据库。在这样做的同时，我得到了以下典型的用例：
kk = "Hello there... ☃!"
kk.encode("ascii", "ignore")
'ascii' codec can't decode byte 0xe2 in position 15: ordinal not in range(128)
我正在用下面的方式清洗数据库，如果有更好的方法，请告诉我。
def u_clean(s):
"""A strange attemp
浏览 1提问于2015-05-16得票数 1
更新：我已将编码更改为
with open("../data/enwiki-20131202-pagelinks.sql", encoding="ISO-8859-1")
...and这个程序现在正在无怨言地细读文件。也许SQL转储不是UTF-8，也不包含这样的文字，这是我的错误假设。
原版：
我试图处理维基百科的一个庞大的数据集，即pagelinks.sql文件。
不幸的是，在读取文件时，我得到了以下错误：
(...)
File "c:\Program Files\Python 3.3\lib\codecs.py", line 301, in
浏览 4提问于2013-12-14得票数 2
回答已采纳
4回答
我正在使用python从mysql数据库中读取一串字符串，经过一些处理后，将它们写入CSV文件。但是，我看到csv文件中出现了一些完全是垃圾的字符。例如，当我使用gvim打开csv时，我看到诸如<92>、<89>、<94>等字符。
有什么想法吗？在写入csv之前，我尝试执行string.encode('utf-8')，但它给出了一个错误，即UnicodeDecodeError: 'ascii' codec can't decode byte 0x93 in position 905: ordinal not in ra
浏览 3提问于2012-07-29得票数 1
回答已采纳
如何转换Unicode字符串(包含额外字符，如£、$等)变成Python字符串？
浏览 8提问于2009-07-30得票数 527
回答已采纳
我已经搜索了这个网站，但还没有找到适合我的答案。我的问题是，我试图将xml写到一个文件中，当我从终端运行脚本时，我得到：
Traceback (most recent call last):
File "fetchWiki.py", line 145, in <module>
pageDictionary = qSQL(users_database)
File "fetchWiki.py", line 107, in qSQL
writeXML(listNS)
File "fetchWiki.py", line 139, in wri
浏览 0提问于2013-05-07得票数 2
回答已采纳
在Python2中，可以调用str.decode获取unicode对象，调用unicode.encode获取str对象。
>>> "foo".decode('utf-8')
u'foo'
>>> u"foo".encode('utf-8')
'foo'
Python3类似，使用bytes.decode获取字符串，使用str.encode获取字节对象。
>>> "foo".encode('utf-8')
b'
浏览 2提问于2018-03-05得票数 0
回答已采纳
2回答
import httplib
webservice = httplib.HTTPSConnection(host)
# ....
try:
webservice.endheaders()
except Exception, exc:
handle_failure(request, exc_str=unicode(exc))
例外情况包括：
错误(110，“模具Wartezeit f\xc3\xbcr die Verbindung ist abgelaufen”)
别问我为什么这封信是用德语写的。
uncode(exc)会像这样失败：
UnicodeDecodeErro
浏览 0提问于2015-11-30得票数 1
1回答
我在python milter中从MIME消息中提取文件，并遇到了命名为以下名称的文件的问题：
=?ISO-8859-1?Q?Certificado=5FZonificaci=F3n=5F2010=2Epdf?=
我好像不能把这个名字解码成UTF。为了解决之前的ISO-8859-1问题，我开始将所有文件名传递给此函数：
def unicodeConvert(self, fname):
normalized = False
while normalized == False:
try:
fname = unicodedata.norma
浏览 0提问于2012-07-25得票数 4
回答已采纳
我遇到了这样的问题，当我尝试解码一个字符串时，我遇到了一个错误，当我尝试编码时，我遇到了另一个错误，下面的错误，有没有永久的解决方案？
附注:请注意，您可能无法使用我提供的字符串重现编码错误，因为我无法复制/粘贴一些错误
text = "sometext"
string = '\n'.join(list(set(text)))
try:
print "decode"
text = string.decode('UTF-8')
except Exception as e:
print e
text
浏览 0提问于2018-11-15得票数 1
1回答
对äüö«等进行编码
、、、
我有一个字符串列表，其中一些包含字母，如äüöor«。尝试打印它们的结果是字符串，如Nat?rlich?或Bedr?ckung。正如在其他线程中所建议的，我尝试通过以下方式解决问题
str(word).encode("latin-1").decode("utf-8")
但是，我现在收到的字符串如下: Verkehrsl\xc3\x83\xc2\xa4rm、Windb\xc3\x83\xc2\xb6、Gro\xc3\x83\xc5\xb8stadt
这些值是使用spacy和nlp从一本书中提取出来的。
浏览 0提问于2020-03-01得票数 0
我使用的是Python 3.7和Django 2.0。我想从字符串中剔除非UTF-8字符，该字符是通过读取此CSV文件获得的。我试过了..。
web_site = row['website'].strip().encode("utf-8", 'ignore').decode("utf-8")
但这似乎没有起到作用，因为我得到了一个结果字符串，看起来像...
web_site: "wbez.org<200e>"
无论"<200e>“是什么，显然都是非UTF-8字符串，因为当我尝试将其插
浏览 2提问于2020-02-19得票数 0
2回答
我有以下用python2.7编写的代码
# -*- coding: utf-8 -*-
import sys
_string = "años luz detrás"
print _string.encode("utf-8")
这将抛出以下错误：
print _string.encode("utf-8")
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 1: ordinal not in range(128)
感谢您的帮助，提
浏览 0提问于2014-01-05得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
