前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析

0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析

作者头像
Fayson
发布2019-05-13 17:13:24
1.1K0
发布2019-05-13 17:13:24
举报
文章被收录于专栏:Hadoop实操

作者:唐辉

1

文档编写目的

Fayson在CDH5.16.1中对Kudu表使用alter table ... change ...更改kudu表的列名后,用 COMPUTE INCREMENTAL STATS 或者COMPUTE STATS 命令去统计表的信息时,会报字段不存在异常

  • 测试环境

1.CM和CDH版本为5.16.1

2.操作系统版本为RedHat 7.2

2

问题描述

首先创建一个Kudu 表,并插入两条数据用来测试

代码语言:javascript
复制
CREATE TABLE impala_kudu_test.mykudutest (
    col1 INT NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
    s2 STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
    PRIMARY KEY (col1)
 ) 
 PARTITION BY HASH (col1) PARTITIONS 3 STORED AS KUDU TBLPROPERTIES ('kudu.master_addresses'='cdh3.macro.com:7051');
insert into mykudutest values (1,"test");
insert into mykudutest values (2,"test2");
select * from mykudutest;

在没有进行修改列的情况下进行验证,可以正常执行和查看

代码语言:javascript
复制
COMPUTE INCREMENTAL STATS mykudutest;
COMPUTE STATS mykudutest;
show table stats mykudutest;

当我们修改非主键字段后

代码语言:javascript
复制
ALTER TABLE testkudu CHANGE s2 sss3 string;
SELECT * FROM testkudu;

再执行COMPUTE INCREMENTAL STATS 或者COMPUTE STATS就会出现如下异常

3

解决办法

首先登陆到的Hive metastore DB(通常是Mysql数据库)

代码语言:javascript
复制
select c.* from COLUMNS_V2 c join TBLS t on t.TBL_ID = c.CD_ID join DBS d on d.DB_ID = t.DB_ID where TBL_NAME = 'mykudutest' and d.NAME = 'impala_kudu_test';

然后用得到CD_ID,更新新列名 (sss3是我更改的新列名,最初列名为s2)

最后对这个表进行invalidate,再执行compute stats

代码语言:javascript
复制
invalidate metadata mykudutest;
compute stats mykudutest;

4

总结

经验证,该问题在CDH5.16.1 中有,但是CDH 6.2以及CDH5.14上都没有这个问题,可能是一个regression过程中的一个错误bug。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档