前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hive集成Tez让大象飞起来

Hive集成Tez让大象飞起来

作者头像
我是攻城师
发布2018-05-14 14:53:49
1.2K0
发布2018-05-14 14:53:49
举报
文章被收录于专栏:我是攻城师我是攻城师

基础环境 Apache Hadoop2.7.1 Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Tez0.7.0 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0 Cloudrea Hue3.8.1 安装Tez,请参考上篇文章:http://qindongliang.iteye.com/blog/2271440 安装成功之后,在hadoop/etc/hadoop/下面新建一个tez-site.xml,并配置tez的lib路径: Java代码

  1. <configuration>
  2. <property>
  3. <name>tez.lib.uris</name>
  4. <value>/user/tez</value>
  5. </property>
  6. </configuration>

然后执行命令hadoop fs -mkdir -p /user/tez 在HDFS上创建tez的目录 接着执行hadoop fs -copyFromLocal tezlib/* /user/tez上面tez相关的所有jar到HDFS对应的路径下 有一点需要注意,在实际交替运行pig on tez 和hive on tez时,发现hive报了一个异常:

博客地址:http://qindongliang.iteye.com/ 原始是tez编译出来的这个jar包,与hadoop的里面jar大小不一致,所以就报这个异常了,解决办法,统一按照hadoop里面这个jar包大小运行即可 另外一点需要注意的是,如果集群中装有压缩功能,lzo或者snappy那么也需要将相关的jar包传到/user/tez里面

设置tez模式,然后查询: set hive.execution.engine=tez; 启动相关服务,在hue里面查询 bin/hive --service metastore bin/hiveserver2 而且,结果还支持图表展示:

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2016-01-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我是攻城师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档