此项目主要检测greenplum集群中膨胀的表,经过检测会生成一个csv文件,以便技术人员分析原因及解决问题
greenplum-table-percentage.sh
主脚本,修改以下信息即可运行改脚本。
1、修改该脚本中的数据库连接信息
2、修改需要检测的schema_inspect,添加时请以英文逗号分割,例如:main,history
3、运行完改脚本会在log/20190603/table-percentage/下生成一个csv文件,该文件是以膨胀率都排序
log
日志目录,主要记录临时的生产的文件,以及检测结果文件
20190603
当前检测的日期文件
table-percentage
最后生产csv的文件夹
temp-percentage-results
存放脚本生产的临时文件
table-percentage-sql
all-table.sql-ori
查看制定schema下的所有的表
table-percentage.sql-ori
查看制定表的膨胀率
time sh greenplum-table-percentage.sh
*****************
进度的百分比为: 18.18% 当前的行212 总行 1166 当前的表 data_quality.*********
进度的百分比为: 99.97% 当前的行10647 总行 10650 当前的表 summary.*******
进度的百分比为: 99.98% 当前的行10648 总行 10650 当前的表 summary.********
进度的百分比为: 99.99% 当前的行10649 总行 10650 当前的表 summary.***********
进度的百分比为: 100.00% 当前的行10650 总行 10650 当前的表 summary.********
表的倾斜率检测完毕,请下载 greenplum-table-percentage/log/20190603/table-percentage/20190603-finish.csv csv文件,以便分析结果......
当出现以下错误时说明有的表没有收集相关的统计信息,可使用命更新表的统计信息 analyze tablename
psql:greenplum-table-percentage/table-percentage-sql/table-percentage.sql:1:NOTICE:One or more columns in the following table(s) do not have statistics: ******
HINT: For non-partitioned tables, run analyze <table_name>(<column_list>). For partitioned tables, run analyze
表名,最大segment的行,最小segment的行,倾斜率(%),表的大小,表的分布键
datafix.enterp*******,10362661,84146,99,95GB, by (s_ext_nodenum)
data_quality.dq_qg_*******,107,1,99,26kB, by (entid)
data_quality.f_ent_*******,16495396,140377,99,5503MB, by (s_ext_nodenum)
data_quality.f_ent_*******,12777242,107989,99,7824MB, by (s_ext_nodenum)
data_quality.f_ent_*******,12759334,107950,99,7315MB, by (s_ext_nodenum)
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。