spark sql 无法访问 hive metastore问题解决

Spark SQL on Hive是Shark的一个分支，是HIVE执行分析引擎的一个重要利器。在Spark 1.5.1的时候，可以非常简单地在spark shell中进行Hive的访问，然而到了Spark 1.5.2时，发现进入Spark Shell的时候，总是出现报错，其原因总是无法访问hive的metastore,从而无法进行各种操作，相当的烦人的。 看了说明，说是要配置hive thrift服务，然而总是报各种失败! 困扰了很多天，终于搞定了。于是在这边将过程写下来。

(1）进行HIVE的配置

在HIVE配置中

<property>                 <name>hive.metastore.warehouse.dir</name>                 <value>hdfs://master:9000/user/hive/warehouse</value>         </property>     <property>         <name>javax.jdo.option.ConnectionURL</name>         <value>jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true</value>     </property>     <property>         <name>javax.jdo.option.ConnectionDriverName</name>         <value>com.mysql.jdbc.Driver</value>     </property>     <property>         <name>javax.jdo.option.ConnectionUserName</name>         <value>root</value>     </property>     <property>         <name>javax.jdo.option.ConnectionPassword</name>         <value>ndscbigdata</value>     </property>

在spark目录下配置，得添加

<property>       <name>hive.metastore.uris</name>       <value>thrift://IP:9083</value>     </property>

(2) 开启hive服务

hive --service metastore

（3） 开启thrift服务

./sbin/start-thriftserver.sh

（4）测试：beeline，进行连接，输入用户名和密码，轻松搞定！