hive on spark 测试

基础环境: Apache Hadoop2.7.1 Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Tez0.7.0 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0 Cloudrea Hue3.8.1 经测试,spark1.6.0和spark1.5.x集成hive on spark有问题, 相关链接:http://apache-spark-user-list.1001560.n3.nabble.com/Issue-with-spark-on-hive-td25372.html 所以只能下载spark-1.4.1然后执行如下命令,重新编译: dev/change-scala-version.sh 2.11 mvn -Pyarn -Phadoop-2.7.1 -Dscala-2.11 -DskipTests clean package 编译完成后,拷贝ssembly/target/scala-2.11/spark-assembly-1.4.1-hadoop2.7.1.jar 到hive的lib目录下 即可, 然后启动hive: set hive.execution.engine=spark; 执行一个查询:

可以执行没有问题,但在测试hive关联hbase表使用spark模式运行的时候,会出现一个异常,spark的kvro序列化总是找不到hbase的一个类,但明明已经启动的时候,加入到hive的class path里面了,经查资料,貌似是hive的一个bug, 但hive on tez模式是可以正常读取hbase表里面的数据的,后续在测试下,看看是否正常。

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2016-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Ken的杂谈

Hadoop高可用集群部署指南

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

1693
来自专栏Hadoop实操

Spark的HistoryServer不能查看到所有历史作业分析

Spark的HistoryServer能正常查看之前的历史作业日志,但新提交的作业在执行完成后未能在HistoryServer页面查看。

1.3K8
来自专栏AILearning

Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

集群模式概述 该文档给出了 Spark 如何在集群上运行、使之更容易来理解所涉及到的组件的简短概述。通过阅读 应用提交指南 来学习关于在集群上启动应用。 ...

1795
来自专栏Hadoop实操

如何使用Intellij搭建Spark开发环境

在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spa...

3664
来自专栏Hadoop实操

CDSW1.3的新功能

前两天Fayson介绍过《CDH5.14和CM5.14的新功能》,与CDH5.14同时发布的还有CDSW1.3,以下我们具体看看CDSW1.3的新功能。

4206
来自专栏Hadoop实操

NameNode Metadata备份和恢复最佳实践

对于未启用HA的NameNode集群,fsimage和edits将存储在活动的NameNode和SecondNameNode上,建议定期备份fsimage和ed...

1822
来自专栏Hadoop实操

如何在CDH集群外配置Kerberos环境的Gateway节点

4234
来自专栏Hadoop实操

如何在Azkaban安装插件(二)

前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》及《如何在Azkaban中安装HDFS插件以及与CDH集成》,我们知道A...

2.3K11
来自专栏简单聊聊Spark

Spark内核分析之SparkContext初始化源码分析

        上一篇介绍了spark作业提交的三种方式,从本篇开始逐一介绍Spark作业运行流程中各个组件的内部工作原理。如标题所说,我们先来看看SparkC...

1433
来自专栏伦少的博客

spark-submit提交Spark Streamming+Kafka程序

2925

扫码关注云+社区

领取腾讯云代金券