HUE版本:3.12.0 Hive版本:2.1.0 前言 通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。
关于HUE与Hive的集成配置修改,详情请参阅《HUE配置与各服务集成使用》
执行Hive SQL脚本查询mytable表数据前10条,field以”\t”分割,并输出到hdfs指定路径。
create table if not exists mytable(sid int ,sname string)
row format delimited fields terminated by ' ' stored as textfile;
样例数据mytable.txt,将其放到HDFS路径的/tmp/目录下
1 张三
2 李四
3 王五
4 李六
5 不告你
将数据导入mytable中,执行以下命令:
load data inpath "/tmp/mytable.txt" into table mytable;
在HDFS路径/user/hue/learn_oozie/mazy_hive_1
下,创建mazy_hive_1.sql
,sql中的参数使用${hivevar:参数}
展示,内容如下:
INSERT overwrite directory '${hivevar:outputpath}'
row format delimited fields terminated by "\t"
SELECT sid,sname FROM mytable LIMIT 10;
将HiveServer2移动到箭头处,添加sql脚本,添加参数:
outputpath=/user/hue/learn_oozie/mazy_hive_1/output
如下图所示:
点击“设置”,如下图所示:
默认配置oozie.use.system.libpath
为true
,这样会在工作区目录下默认新建lib
包,如果需要jar包依赖的话,可以放在lib目录下。
工作区的目录HUE会默认生成,也可以自定义设置,lib文件会生成在该工作区内。
这里将工作区设为:/user/hue/learn_oozie/mazy_hive_1
。
设置完毕后,执行该Workflow。
执行Workflow后,会生成一个job作业,job所属用户为登陆HUE Web的用户。 等Workflow执行成功后,在HDFS路径上查看/user/hue/learn_oozie/mazy_hive_1/output/00000-0
文件,如下图所示:
在HUE上通过Oozie调用Hive SQL任务流: