当Impala碰到由Hive生成的timestamp数据

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github：https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

默认情况下，Impala不会使用本地时区存储timestamp，以避免因为时区问题导致的其他故障。无论是写入还是读取数据，或者通过诸如from_unixtime()或unix_timestamp()之类的函数转换为Unix时间戳或者从Unix时间转换时。要将timestamp值转换为date或者time，我们一般使用from_utc_timestamp()来进行转换，但是对于Impala来说如果想转换为OS的本地时区，一般你还要带上时区参数比如CST，为了方便你也可以在Impala的配置中加上--use_local_tz_for_unix_timestamp_conversions=true。这一点我们在《Hive中的Timestamp类型日期与Impala中显示不一致分析》和《Hive中的Timestamp类型日期与Impala中显示不一致分析（补充）》文章中都进行过分析。

当带有timestamp的数据是由Hive生成的时候，并且数据文件格式为parquet的时候，Impala同样会碰到本地时区和UTC时区的问题，我们在《Hive中的Timestamp类型日期与Impala中显示不一致分析（补充）》文章中也进行过简单说明，本文Fayson将着重演示具体会有什么坑，然后应该如何去跳过这个坑。

• 内容概述：

1.问题重现

2.解决办法

3.总结

• 测试环境：

1.操作系统：Redhat7.4

2.CDH5.12.1

3.采用root用户进行操作

2.问题重现

1.首选确认集群所有机器的时区

[root@cdh01 shell]# sh ssh_do_all.sh node.list "date"

（可左右滑动）

可以看到Fayson的集群里的所有机器都是CST时区，即中国时间。

2.我们在Impala中建立一张带有timestamp字段的表，并插入数据。

create table t1 (x timestamp);
insert into t1 values (current_timestamp()),(current_timestamp() + interval 1 day);
select * from t1;

（可左右滑动）

3.使用Hive分别基于这个表生成文本和parquet文件的另外一张表

create table p1 stored as parquet as select x from t1;
create table p1_text as select x from t1;
select * from t1;
select * from p1;
select * from p1_text;

（可左右滑动）

可以发现基于Hive查询无论是原表，生成的文本表，parquet表，timestamp字段的值都是一样的，与本地时区的时间一致。

4.在Impala中再进行查询

invalidate metadata;
select * from t1;
select * from p1;
select * from p1_text;

（可左右滑动）

可以发现当由Hive生成的带有timestamp的parquet文件时，查询的时间其实是不对的，Impala默认使用了UTC时区，比CST要慢8个小时，而没有使用本地OS的时区，中国时间。

3.解决办法

1.在Impala Daemon的命令行高级配置中增加以下配置

-convert_legacy_hive_parquet_utc_timestamps

（可左右滑动）

保存配置并重启Impala服务

2.重新登录Impala并进行查询

select * from t1;
select * from p1;
select * from p1_text;

（可左右滑动）

可以发现无论是基于原始数据，还是由Hive生成的文本文件，parquet文件表，结果查询都一直，与当时存进去的本地时区CST一致，均为中国时间。

4.总结

1.如果带有timestamp字段的表由Impala生成无论是文本文件还是parquet文件时，无论是由Hive查询还是Impala，均不会有时区的问题。

2.由Hive生成的带有timestamp字段的表，如果是文本格式的，无论是由Hive查询还是Impala，均不会有时区的问题。

3.由Hive生成的带有timestamp字段的表，如果是parquet格式的，由Hive查询不会有时区的问题，由Impala查询时，默认使用的是UTC时区，结果会不正确，假设你本地是中国时间，即CST时区，会慢8个小时。

4.如果碰到第3点的问题，你可以在Impala Daemon配置中增加-convert_legacy_hive_parquet_utc_timestamps，可以解决Impala的时区问题，让Impala在查询Hive的parquet表时，强制使用本地时区。

5.当你使用第4点解决Impala的时区问题时，还会有一个坑，即IMPALA-3316，参考：https://issues.apache.org/jira/browse/IMPALA-3316，这个坑到底是怎样的表现形式，然后如何规避，请持续关注Fayson。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操