专栏首页Hadoop实操Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析

Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.异常描述


首先我们在hive中创建一个表

1create external table test_table
2(
3s1 string,
4s2 CHAR(10),
5s3 VARCHAR(10)
6)
7row format delimited fields terminated by '#'
8stored as textfile location '/fayson/fayson_test_table';

(可左右滑动)

插入一行数据

1insert into test_table values ('1','我你我你我','我你我你我');

(可左右滑动)

使用Hive查询,一切正常

1select * from test_table;

(可左右滑动)

使用Impala查询

1select * from test_table;

(可左右滑动)

发现查询出来的字段被截断了。

我们看看插入数据生成的hdfs文件的编码:

1hadoop fs -get /fayson/fayson_test_table/000000_0_copy_1 .
2cat 000000_0_copy_1
3file -bi 000000_0_copy_1

(可左右滑动)

可以发现CHAR类型的字段10位,插入数据如果不够10位,Hive自动补了空格,另外生成的文件是utf-8编码。

2.异常解决


我们扩大CHAR/VARCHAR的长度定义,并引入一个String类型方便比较,再次在Hive中创建一张测试表进行测试。

1create external table test_table1
2(
3s1 string,
4s2 CHAR(15),
5s3 VARCHAR(15),
6s4 string
7)
8row format delimited fields terminated by '#'
9stored as textfile location '/fayson/fayson_test_table1';

(可左右滑动)

插入一条数据

1insert into test_table1 values ('1','我你我你我','我你我你我','我你我你我');

(可左右滑动)

使用Hive查询该表的数据,发现一切正常。

1select * from test_table1;

(可左右滑动)

使用Impala查询

1select * from test_table1;

(可左右滑动)

可以发现三个字段s2,s3,s4都没有被截断,查询结果正常。

3.异常总结


1.这是因为定义的CHAR(10)只能容纳3个半个中文字符导致的。Impala处理CHAR/VARCHAR类型的字段使用的是UTF-8编码, 内部使用字节数组。由于中文字符的UTF-8编码是3个字节。这意味CHAR(10)只能容纳最多3个完整的中文字符。

2.解决方案是使用CHAR(15), 这样最多可以容纳5个中文字符。不过如果您事先无法估计中文串长度, 则建议您使用STRING类型。

3.Hive和Impala在处理"字符"时是不一样的。Hive中的CHAR/VARCHAR字符串的长度是根据实际的代码页确定的。Hive的实现与Java保持一致。但Impala并没有采用这种做法。

4.来自Hive官网的原文,参考链接在文末。“Character length is determined by the number of code pointscontained by the character string.”即与Java字符串的.length()方法保持一致。

参考:

http://impala.apache.org/docs/build/html/topics/impala_varchar.html

https://issues.apache.org/jira/browse/IMPALA-5675

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_varchar.html

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-VarcharvarcharVarchar

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 0631-6.2-如何确认一个Parquet文件是否被压缩

    1.使用Hive的desc命令查看Parquet表hive_table_test_parquet的底层文件格式是否被压缩。

    Fayson
  • 0693-6.2.0-如何将Hive数据导入HBase

    在一些业务场景中需要将Hive的数据导入到HBase中,通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的...

    Fayson
  • 0608-6.1.0-如何将ORC格式且使用了DATE类型的Hive表转为Parquet表(续)

    在上一篇文章《6.1.0-如何将ORC格式且使用了DATE类型的Hive表转为Parquet表》中主要介绍了非分区表的转换方式,本篇文章Fayson主要针对分区...

    Fayson
  • SAP Spartacus org unit table的DOM structure

    Jerry Wang
  • Java异常面试题(2020最新版)

    Java异常架构与异常关键字Java异常简介Java异常架构1. Throwable2. Error(错误)3. Exception(异常)运行时异常编译时异常

    用户7886150
  • CSS 3 3D 转换

    perspective: m px; // 视点和画面的距离,视点的位置默认在父元素的中心

    py3study
  • Java基础巩固——异常

      在Java程序运行时,常常会出现一些非正常的现象,这种情况称为运行错误。根据其性质可以分为错误和异常。

    Janti
  • Hive的数据存储

    https://www.cnblogs.com/huifeidezhuzai/p/9251969.html

    休辞醉倒
  • Java基础系列(三十一):异常

    假如在一个Java程序运行期间出现了一个错误,这个错误可能是由于文件包含了错误的信息,或者由于网络连接出现超时,或者就因为使用了无效的数组下标,或者试图使用一个...

    山禾说
  • 异常处理

    Exception又分为运行异常(RuntimeException和其下子类)和其他类属于编译时异常

    木瓜煲鸡脚

扫码关注云+社区

领取腾讯云代金券