Spark SQL+Hive历险记

基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1 Apache Hbase0.98.12 (1)提前安装好scala的版本,我这里是2.11.7 (2)下载spark-1.6.0源码,解压进入根目录编译 (3)dev/change-scala-version.sh 2.11 修改pom文件,修改对应的hadoop,hbase,hive的版本 执行编译支持hive功能的spark (4)mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7.1 -Dscala-2.11 -DskipTests clean package 三种测试方式:

Java代码

  1. bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://h1:7077 examples/target/spark-examples_2.11-1.6.0.jar 100
  2. bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/target/spark-examples_2.11-1.6.0.jar 10
  3. bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/target/spark-examples_2.11-1.6.0.jar 10

(一):命令行Spark SQL接口调试 编译成功后,将提前安装好的hive/conf/hive-site.xml拷贝到spark的conf/目录下, 执行,spark-sql的启动命令,同时使用--jars 标签把mysql驱动包,hadoop支持的压缩包,以及通过hive读取hbase相关的jar包加入进来,启动

Java代码

bin/spark-sql --jars  
 lib/mysql-connector-java-5.1.31.jar,  
lib/hadoop-lzo-0.4.20-SNAPSHOT.jar,  
/ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar,  
/ROOT/server/hbase/lib/hbase-client-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-common-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-server-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/guava-12.0.1.jar,  
/ROOT/server/hbase/lib/hbase-protocol-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/htrace-core-2.04.jar   

(二):Intellj IDEA15.0里面代码调试: sbt的依赖:

Java代码

//下面不需要使用的依赖,大家可根据情况去舍 
name := "scala-spark" 
 
version := "1.0" 
 
scalaVersion := "2.11.7" 
 
//使用公司的私服,去掉此行则使用默认私服 
resolvers += "Local Maven Repository" at "http://xxxx:8080/nexus/content/groups/public/" 
 
//使用内部仓储 
externalResolvers := Resolver.withDefaultResolvers(resolvers.value, mavenCentral = false)  
 
//Hadoop的依赖 
libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.7.1" //% "provided" 
 
//Habse的依赖 
libraryDependencies += "org.apache.hbase" % "hbase-client" % "0.98.12-hadoop2" // % "provided" 
 
libraryDependencies += "org.apache.hbase" % "hbase-common" % "0.98.12-hadoop2" //% "provided" 
 
libraryDependencies += "org.apache.hbase" % "hbase-server" % "0.98.12-hadoop2" //% "provided" 
 
//Spark的依赖 
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.0" //% "provided" 
 
//Spark SQL 依赖 
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "1.6.0" //% "provided" 
 
//Spark For Hive 依赖 
libraryDependencies += "org.apache.spark" % "spark-hive_2.11" % "1.6.0" 
 
//java servlet 依赖 
libraryDependencies += "javax.servlet" % "javax.servlet-api" % "3.0.1" //% "provided" 

scala主体代码

Java代码

def main(args: Array[String]) {  
 //设置用户名 
  System.setProperty("user.name", "username");  
  System.setProperty("HADOOP_USER_NAME", "username");  
 //此处不需要设置master,方便到集群上,能测试yarn-client , yarn-cluster,spark 各种模式 
  val sc=new SparkConf().setAppName("spark sql hive");  
  val sct=new SparkContext(sc);  
 //得到hive上下文 
  val hive = new org.apache.spark.sql.hive.HiveContext(sct);  
 //执行sql,并打印输入信息 
  hive.sql("show tables ").collect().foreach(println);  
 //关闭资源 
  sct.stop();  
}  

写好代码,在win上运行,有bug,/tmp/hive没有执行权限https://issues.apache.org/jira/browse/SPARK-10528 所以建议还是拿到linux上执行,而且win上只能调standalone模式,不能调yarn-cluster和yarn-client模式。 记住一个血的bug,在代码里的SparkConf()一定不要setMaster("")的值,否则你粗心了,在集群上执行各种模式时候会 出现莫名其妙的bug //写代码方式,查询

Java代码

//yarn集群模式 
bin/spark-submit  
 --class com.tools.hive.SparkHive     
 --master yarn-cluster --files conf/hive-site.xml   
 --jars lib/datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar    
scala-spark_2.11-1.0.jar //这是主体的jar,不用跟--jars放在一起,否则会有问题 
 
//yarn客户端模式 
bin/spark-submit   
--class com.tools.hive.SparkHive      
--master yarn-client   
--files conf/hive-site.xml    
--jars lib/datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar   
 scala-spark_2.11-1.0.jar //这是主体的jar,不用跟--jars放在一起,否则会有问题 
 
//spark alone模式 
bin/spark-submit   
--class com.tools.hive.SparkHive     
 --master spark://h1:7077 
 --files conf/hive-site.xml   
 --jars lib/datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar   
 scala-spark_2.11-1.0.jar //这是主体的jar,不用跟--jars放在一起,否则会有问题 

以Spark SQL 方式查询,不一定非得让你写代码,这就是sql的魅力,spark sql也能使用sql通过hive的元数据,查询hdfs数据或者hbase表等 //yarn-cluster集群模式不支持spark sql Error: Cluster deploy mode is not applicable to Spark SQL shell.

Java代码

//yarn客户端模式 
bin/spark-sql      
--master yarn-client   
--files conf/hive-site.xml    
--jars lib/datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar    
  -e "select name ,  count(1) as c from info group by name order by c desc ;" 
 
//spark alone模式 
bin/spark-sql      
--master spark://h1:7077  
--files conf/hive-site.xml   
 --jars lib/datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar     
 -e "select name ,  count(1) as c from info group by name order by c desc ;" 

Spark SQL + Hive + Hbase方式集成

Java代码

//yarn客户端模式 
bin/spark-sql    --master yarn-client --files conf/hive-site.xml  --jars lib/  
datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar,  
lib/hadoop-lzo-0.4.20-SNAPSHOT.jar,  
/ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar,  
/ROOT/server/hbase/lib/hbase-client-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-common-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-server-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/guava-12.0.1.jar,  
/ROOT/server/hbase/lib/hbase-protocol-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/htrace-core-2.04.jar      
-e "select * from dong limit 2 ;" 
 
 
 
//spark alone模式 
bin/spark-sql    --master spark://h1:7077 --files conf/hive-site.xml  --jars lib/ 
datanucleus-api-jdo-3.2.6.jar,  
lib/datanucleus-rdbms-3.2.9.jar,  
lib/datanucleus-core-3.2.10.jar,  
lib/mysql-connector-java-5.1.31.jar,  
lib/hadoop-lzo-0.4.20-SNAPSHOT.jar,  
/ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar,  
/ROOT/server/hbase/lib/hbase-client-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-common-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-server-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/guava-12.0.1.jar,  
/ROOT/server/hbase/lib/hbase-protocol-0.98.12-hadoop2.jar,  
/ROOT/server/hbase/lib/htrace-core-2.04.jar    
  -e "select count(*) from dong  ;" 

总结: 使用某个spark命令提交任务时,如果对参数比较模糊,可以使用 bin/spark-xxx -h命令查看,参数介绍 另外spark 整合 hive关联hbase的时候或者spark整合hive 的时候,会出现很多问题,最常见的就是 : (1)mysql驱动包找不到 (2)datanucleus相关的类找不到 (3)运行成功,而没有结果 (4)..... Spark SQL整合Hive时,一定要把相关的jar包和hive-site.xml文件,提交到 集群上,否则会出现各种莫名其妙的小问题, 经过在网上查资料,大多数的解决办法在Spark的spark-env.sh里面设置类路径,经测试没有生效,所以,还是通过--jars 这个参数来提交依赖的jar包比较靠谱。 参考链接: winuitls.exe下载地址,如果再win上想远程连接spark alone集群提交任务,可能要用到: http://teknosrc.com/spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries/ http://zengzhaozheng.blog.51cto.com/8219051/1597902

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2016-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乱炖

国内主机安装kubenetes1.9.0

链接:https://pan.baidu.com/s/1kjhCqh5DlcBHkqRyHOx8oQ 密码:9dma

2928
来自专栏一个默默无闻的工程师的日常

使用 docker 快速部署 ceph

3492
来自专栏游戏杂谈

Flash Pro CS5无法跳过注册Adobe ID的问题

装了N多次卸载了N多次,就是没有上图中的那个“跳过此步骤”,找了N个注册码还是不行。按网上的说明,有两种方式可以解决这个问题:

1732
来自专栏Laoqi's Linux运维专列

K8s集群部署篇–Kube-DNS(三)

4694
来自专栏blackpiglet

如何在 Kubernetes 环境中搭建 MySQL(三):使用 PVC 挂接 RBD

MySQL 中的数据是关键信息,是有状态的,不可能随着 MySQL pod 的销毁而被销毁,所以数据必须要外接到一个可靠的存储系统中,目前已经有了 Ceph 系...

843
来自专栏KaliArch

Linux系统检查脚本

对登录一个系统,快速查看其系统信息,检查系统各项指标及参数,编写系统快速检查脚本,输出系统信息到脚本运行的logs目录下。

1234
来自专栏从零学习云计算

kubernetes学习记录(10)——建立Heapster+Influxdb+Grafana集群性能监控平台

采用的是Heapster+Influxdb+Grafana建立集群性能监控平台。 据说Heapster需要与Kubernetes Master进行安全连接,所以...

4760
来自专栏耕耘实录

国内环境Kubernetes v1.12.1的安装与配置

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢

1993
来自专栏逸鹏说道

Ubuntu18.04下VMware or VirtualBox 虚拟化的问题

This host supports Intel VT-x, but Intel VT-x is disabled. Intel VT-x might be d...

1934
来自专栏转载gongluck的CSDN博客

FFmpeg菜鸡互啄#第2篇#配置VS开发环境

下载FFmpeg 首先是下载FFmpeg的win32库,我用的版本是2.5.2(和其他2.x.x版本应该不会有太大差别)。FFmpeg的官网上好像已经找不到旧版...

4306

扫码关注云+社区

领取腾讯云代金券