前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python-解决Cx_Oracle查询时UnicodeDecodeError的问题

Python-解决Cx_Oracle查询时UnicodeDecodeError的问题

作者头像
灯塔大数据
发布2018-04-08 15:29:39
1.8K0
发布2018-04-08 15:29:39
举报
文章被收录于专栏:灯塔大数据

近期在项目中,要对1张100多万条记录的表进行查询,然后进行一些数据的统计,但是在这个过程中,发现只查询出来几条数据就出现了UnicodeDecodeError了。

在这里,我们使用sqlalchemy库进行查询,其内部还是Cx_Oracle来进行对应的操作,使用的Python版本为3.5.0,宿主系统为Windows 2008 Server,然后进行类似如下的操作:

代码语言:javascript
复制
from sqlalchemy import create_engine   
engine = create_engine('oracle://demo:123456@192.168.1.202/TEST')   conn = engine.connect()   
sql = 'select t.type from TS t'   
result = conn.execute(sql)   
for row in result:       
     print(row['type'])

在这里,我们首先创建1个到数据库的连接,然后进行对应的查询操作。很不幸的是,只查询不到10条记录就出现了1个UnicodeDecodeError错误了。

本来以为是数据库的服务器编码问题,因此在create_engine函数中追加了encoding参数,将其更改为:

engine = create_engine('oracle://demo:123456@192.168.1.202/TEST',encoding="UTF-8")

而另外1种可用的方式直接在连接路径中指定编码,类似如下:

engine = create_engine('oracle://demo:123456@192.168.1.202/TEST?charset=utf-8')

但是问题还是没有解决。在网上搜索了一下都没有找到适应的解决方案,突然想起来之前在使用Mysql数据库的时候,出现乱码的时候,我们常常会进行如下的操作:

set names gbk;

我们通过这种方式设置客户端的编码,而不是服务器端的编码,来解决终端下出现乱码的情况。而另外在Linux下安装Oracle的客户端时,设置了1个NLS_LANG的环境变量,详情可以参考Ubuntu14.04安装Oracle Instant Client这篇文章,当然这篇文章有一些细节的东西没有介绍。

一般情况下,我们在cmd中进行如下的设置:

setenv NLS_LANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK

我们指定Oracle消息使用的语言为简体中文,而客户端的字符集为GBK。

另外,我们还可以执行如下的语句来确保上述的操作是正确的:

SELECT * FROM v$nls_parameters;

由于上述数据库服务器是部署在Windows上的,因此其结果自然为GBK,因此如果我们客户端使用UTF8字符集进行解码,自然而言会出现解码的错误。

我们需要注意的是,只有在数据库服务器端与客户端的编码一致的情况下,我们才能正常的显示非ASCII编码,而在sqlalchemy中默认会将查询的字符串强制将其转换为Unicode。

因此类似Python3的如下过程:

>>> a='中国'.encode('gbk')

>>> a

b'\xd6\xd0\xb9\xfa'

而在sqlalchemy中由于强制进行编码转换,因此类似执行如下的过程:

>>> a.decode('utf-8')

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

因此就出现上述的问题了。

而正常的情况应该指定其编码为GBK:

>>> a.decode('gbk')

'中国'

而设定NLS_LANG就是相当于修改上述的编码为GBK。

作者:风中纸鸢

原文:http://52sox.com/python-UnicodeDecoderError-in-cx_oracle/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-02-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 灯塔大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档