前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >用beeline连接SparkSQL

用beeline连接SparkSQL

作者头像
用户1148526
发布2022-05-07 12:57:55
9730
发布2022-05-07 12:57:55
举报
文章被收录于专栏:Hadoop数据仓库

1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性

代码语言:javascript
复制

 vi $SPARK_HOME/conf/hive-site.xml 
 <configuration>  
     <property> 
         <name>hive.metastore.uris</name> 
         <value>thrift://master:9083</value> 
         <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> 
     </property> 
 
     <property> 
         <name>hive.server2.thrift.bind.host</name> 
         <value>192.168.56.101</value> 
             <description>Bind host on which to run the HiveServer2 Thrift service.</description> 
     </property> 
     <property> 
         <name>hive.server2.thrift.port</name> 
         <value>10001</value> 
         <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description> 
     </property> 
     <property> 
         <name>hive.server2.thrift.min.worker.threads</name> 
         <value>5</value> 
         <description>Minimum number of Thrift worker threads</description> 
     </property> 
     <property> 
         <name>hive.server2.thrift.max.worker.threads</name> 
         <value>500</value> 
         <description>Maximum number of Thrift worker threads</description> 
     </property> 
  
 <property>   
 <name>hive.server2.enable.doAs</name> 
 <value>false</value> 
 </property> 
 </configuration> 

2. 复制mysql JDBC驱动文件到$SPARK_HOME/lib/ cp mysql-connector-java-5.1.31-bin.jar $SPARK_HOME/lib/ 3. 启动hive元数据存储服务 hive --service metastore > /tmp/grid/hive_metastore.log 2>&1 & 4. 启动spark thriftserver服务 $SPARK_HOME/sbin/start-thriftserver.sh --master spark://192.168.56.101:7077 --executor-memory 30g 5. 登入beeline $SPARK_HOME/bin/beeline -u jdbc:hive2://192.168.56.101:10001/ 参考: https://spark.apache.org/docs/1.5.0/sql-programming-guide.html

http://www.tuicool.com/articles/7BbiArR

http://blog.zhaishidan.cn/2015/05/15/jie-jue-beelinelian-jie-hiveserver2zhi-xing-sqlbao-cuo-de-wen-ti/

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-03-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据保险箱
数据保险箱(Cloud Data Coffer Service,CDCS)为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据,避免误删带来的损害,还可以将数据跨地域存储,防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入,实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载,最终实现数据的安全存储和提取。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档