前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >拒绝手敲,hive创建表只需要输入表名和字段即可自动建表(shell脚本实现)

拒绝手敲,hive创建表只需要输入表名和字段即可自动建表(shell脚本实现)

作者头像
静谧星空TEL
发布2021-04-27 11:49:45
2.3K0
发布2021-04-27 11:49:45
举报
文章被收录于专栏:云计算与大数据技术

问题描述

如果 hive 表有100个字段,一天建20张表,一直敲 Ctrl C Ctrl V ....(20年单身手速也不能对自己这么狠吧!!)

问题解决

h1“”传入的第一个参数 $1 和 create table 字符拼接 h2:传入的参数 2 3 和 partition by 字符串拼接 h3:传入的之后的参数 $* 通过 for 循环和 varchar(255) ,字符拼接 hive -e "

 代码实现

代码语言:python
代码运行次数:0
复制
#!/bin/bash

# $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段
# 数据库名称,这里不作为参数用自变量写了
database="observation"
# hive 拼接语句,分为h1,h2,h3 
# h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部
h1="create external table $database.$1("
# 在当前目录下创建文本文件temp,如果文件存在则清空文件
$(> temp)
# for 循环将参数追加到当前目录的temp文件,逗号分隔,echo -n 不换行
for i in $*;do
	((n++))
	if [[ n -gt 3 ]];then
		echo -n $i" varchar(255)," >> temp
	fi
done
# h2取temp文本里的字符串
temp=$(cat temp)
# 将字符串最后的一个逗号去掉
h2="${temp%*,} )"
#echo $h2
# h3是建表语句的后半部
h3="
partitioned by ($2 string,$3 string)
row format delimited 
fields terminated by ','
lines terminated by '\n'
stored as textfile
location '/user/hive/warehouse/$database.db/$1';
"
echo $h1$h2$h3

$(hive -e "$h1$h2$h3")

代码实现2

代码语言:python
代码运行次数:0
复制
#!/bin/bash

#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"
string=$*
group=(${string//;/ })
for i in ${group[@]};do
    ((m++))
    if [[ m -eq 1 ]];then
        tables=$i
    elif [[ m -eq 2 ]];then
        fields=$i
    else partitions=$i
    fi
done
# echo "tables:" $tables
# echo "fileds:" $fields
# echo "partitions:" $partitions
# echo "-----------------"
field=(${fields//,/ })
partition=(${partitions//,/ })

# 创建表目录
$(mkdir /home/hive/observation/$tables)

# 数据库名称,这里不作为参数用自变量写了
database="observation"
# hive 拼接语句,分为h1,h2,h3
# h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部
h1="create external table $database.tables"
# 在当前目录下创建文本文件temp,如果文件存在则清空文件
$(> temp)
# for 循环将参数追加到当前目录的temp文件,逗号分隔,echo -n 不换行
for i in ${field[@]};do
	echo -n $i" varchar(255)," >> temp
done
# h2取temp文本里的字符串
temp=$(cat temp)
# 将字符串最后的一个逗号去掉
h2="( ${temp%*,} )"
# 在当前目录下创建文本文件tmp,如果文件存在则清空文件
$(> tmp)
# for 循环将参数追加到当前目录的temp文件,逗号分隔,echo -n 不换行
for i in ${partition[@]};do
	$(mkdir /home/hive/observation/$tables/$i)
	echo -n $i" varchar(255)," >> tmp
done
# h3取temp文本里的字符串
tmp=$(cat tmp)
# 将字符串最后的一个逗号去掉
# h3是建表语句的后半部
h3="
partitioned by
( ${tmp%*,} )
row format delimited 
fields terminated by ','
lines terminated by '\n'
stored as textfile
location '/user/hive/warehouse/$database.db/tables';
"
echo $h1$h2$h3
#$(hive -e "$h1$h2$h3")
#$(rm -rf tmp temp)

注意事项

第一个参数是表名 第二个参数是分区 第三个参数是分区 之后参数为表字段

hive表类型:external 普通字段:varchar(255) 分区字段:string 换行分隔符: \n 字段分隔符:, 存储格式:textfile

用 shell 写的原因是方便任务调度框架 oozie、anzkaban 定时调度

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/04/10 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 问题描述
  • 问题解决
  •  代码实现
  • 代码实现2
  • 注意事项
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档