温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
Fayson的github:https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1.文档编写目的
默认情况下,Impala不会使用本地时区存储timestamp,以避免因为时区问题导致的其他故障。无论是写入还是读取数据,或者通过诸如from_unixtime()或unix_timestamp()之类的函数转换为Unix时间戳或者从Unix时间转换时。要将timestamp值转换为date或者time,我们一般使用from_utc_timestamp()来进行转换,但是对于Impala来说如果想转换为OS的本地时区,一般你还要带上时区参数比如CST,为了方便你也可以在Impala的配置中加上--use_local_tz_for_unix_timestamp_conversions=true。这一点我们在《Hive中的Timestamp类型日期与Impala中显示不一致分析》和《Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)》文章中都进行过分析。
当带有timestamp的数据是由Hive生成的时候,并且数据文件格式为parquet的时候,Impala同样会碰到本地时区和UTC时区的问题,我们在《Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)》文章中也进行过简单说明,本文Fayson将着重演示具体会有什么坑,然后应该如何去跳过这个坑。
1.问题重现
2.解决办法
3.总结
1.操作系统:Redhat7.4
2.CDH5.12.1
3.采用root用户进行操作
2.问题重现
1.首选确认集群所有机器的时区
[root@cdh01 shell]# sh ssh_do_all.sh node.list "date"
(可左右滑动)
可以看到Fayson的集群里的所有机器都是CST时区,即中国时间。
2.我们在Impala中建立一张带有timestamp字段的表,并插入数据。
create table t1 (x timestamp);
insert into t1 values (current_timestamp()),(current_timestamp() + interval 1 day);
select * from t1;
(可左右滑动)
3.使用Hive分别基于这个表生成文本和parquet文件的另外一张表
create table p1 stored as parquet as select x from t1;
create table p1_text as select x from t1;
select * from t1;
select * from p1;
select * from p1_text;
(可左右滑动)
可以发现基于Hive查询无论是原表,生成的文本表,parquet表,timestamp字段的值都是一样的,与本地时区的时间一致。
4.在Impala中再进行查询
invalidate metadata;
select * from t1;
select * from p1;
select * from p1_text;
(可左右滑动)
可以发现当由Hive生成的带有timestamp的parquet文件时,查询的时间其实是不对的,Impala默认使用了UTC时区,比CST要慢8个小时,而没有使用本地OS的时区,中国时间。
3.解决办法
1.在Impala Daemon的命令行高级配置中增加以下配置
-convert_legacy_hive_parquet_utc_timestamps
(可左右滑动)
保存配置并重启Impala服务
2.重新登录Impala并进行查询
select * from t1;
select * from p1;
select * from p1_text;
(可左右滑动)
可以发现无论是基于原始数据,还是由Hive生成的文本文件,parquet文件表,结果查询都一直,与当时存进去的本地时区CST一致,均为中国时间。
4.总结
1.如果带有timestamp字段的表由Impala生成无论是文本文件还是parquet文件时,无论是由Hive查询还是Impala,均不会有时区的问题。
2.由Hive生成的带有timestamp字段的表,如果是文本格式的,无论是由Hive查询还是Impala,均不会有时区的问题。
3.由Hive生成的带有timestamp字段的表,如果是parquet格式的,由Hive查询不会有时区的问题,由Impala查询时,默认使用的是UTC时区,结果会不正确,假设你本地是中国时间,即CST时区,会慢8个小时。
4.如果碰到第3点的问题,你可以在Impala Daemon配置中增加-convert_legacy_hive_parquet_utc_timestamps,可以解决Impala的时区问题,让Impala在查询Hive的parquet表时,强制使用本地时区。
5.当你使用第4点解决Impala的时区问题时,还会有一个坑,即IMPALA-3316,参考:https://issues.apache.org/jira/browse/IMPALA-3316,这个坑到底是怎样的表现形式,然后如何规避,请持续关注Fayson。
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操