解决python2.7 UnicodeDecodeError和UnicodeEncodeError问题

最近在项目中,读取上传的csv文件,并写入时,会报编码问题,

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk)

UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte

刚开始以为是对方上传的文本编码格式有问题,所以让对方用Notepad++,打开编辑后保存

刚开始一段时间,没有再出现错误,最近,错误再次发生,即使用上面说的编辑器也没用

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk')

后面考虑,可能是因为有中文,需要进行gbk编码,所以在写入文件时我按gbk写入后,发现问题解决了,不会再报上面这个错误

但是当我把把更新的文件放到服务器上后,发现,又报另外一个错误错误

UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-57: ordinal not in range(128)

可能是因为linux默认是utf-8编码。所以报错

然后我又转成utf-8,完美解决问题,代码如下  

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk').encode('utf-8'))

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏散尽浮华

python升级后带来的几个小问题

1)python升级带来的yum异常:File "/usr/bin/yum", line 30 原因:这是因为yum采用Python作为命令解释器,这可以从/...

32050
来自专栏糊一笑

谈谈webpack2的一些事

从v1迁移到v2 1. 配置类型 在webpack1的时候,主要是通过导出单个object来进行配置。例如下面的配置: // webpack1 导出方式 mod...

31650
来自专栏行者悟空

Nginx性能优化的那些事

25840
来自专栏北京马哥教育

亲自动手写一个python库(二)

引言 经过上一节中所述,我们搭建好了一个Python环境用于库开发,我们在这一节真正开始搭建一个库,并将其发布。 项目文档结构 首先我们先构建出自己项目的文档...

37470
来自专栏人工智能LeadAI

深入理解并发/并行,阻塞/非阻塞,同步/异步

1、阻塞,非阻塞 首先,阻塞这个词来自操作系统的线程/进程的状态模型中,如下图: ? 进程状态 一个线程/进程经历的5个状态,创建,就绪,运行,阻塞,终止。各个...

43240
来自专栏欧阳大哥的轮子

用open命令实现从终端到可视化界面的切换

在一些具有可视化界面的linux以及macOS操作系统下,可以在终端下执行各种shell命令,尤其是很多老程序员和命令操作爱好者。有些人则喜欢可视化操作界面。因...

17420
来自专栏pangguoming

Git忽略规则.gitignore梳理

对于经常使用Git的朋友来说,.gitignore配置一定不会陌生。废话不说多了,接下来就来说说这个.gitignore的使用。

12330
来自专栏python学习指南

python爬虫(二)_HTTP的请求和响应

HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(Hyp...

545100
来自专栏木制robot技术杂谈

Python无法使用curses库解决方案

错误信息 ImportError: No module named '_curses' 运行环境 1.ubuntu 14.04 2.python 3.5 解决...

51590
来自专栏会跳舞的机器人

Dubbo无法创建新线程异常解决方案

结合上面的异常信息,我们可以知道dispatcher的默认配置值为all(AllChannelHandler来处理消息请求),因为测试环境上部署了好几个应用,如...

52220

扫码关注云+社区

领取腾讯云代金券