hive安装部署

1、 准备环境

1, 软件准备

Java-- jdk-8u121-linux-x64.tar.gz

Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)

Hive-- apache-hive-1.2.1-bin.tar.gz

本系列教程所有jar包,请关注微信公众号 :Spark高级玩法,输入software获取。

Centos 6.5是本文采用的操作系统

2, 安装mysql

yum install mysql-server -y

启动mysql

service mysqld status

service mysqld start

加上账户密码

加上账户密码

mysqladmin -u root password '123456'

添加开机启动

chkconfig mysqld on

chkconfig --list |grep mysqld

测试

mysql -uroot -p123456

整理认证权限

名字叫mysql的数据库中假如需要的认证。

重点强调一定要执行: flush privileges;

二,安装Hive

1. 本地安装测试

配置好HIVE_HOME等环境变量

# Hive
export HIVE_HOME=/opt/modules/hive-1.2.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$PATH:$HIVE_HOME/bin

1) 配置hive-site.xml(需要创建)

<configuration>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://Luffy.OnePiece.com/metastore_db?createDatabaseIfNotExist=true</value>
 <description>JDBC connect string for a JDBC metastore</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a JDBC metastore</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 <description>username to use against metastore database</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>123456</value>
 <description>password to use against metastore database</description>
 </property>
 <property>
 <name>hive.metastore.uris</name>
 <value>thrift://Luffy.OnePiece.com:9083</value>
</property>
</configuration>

2) 添加数据库驱动

mysql-connector-java-5.1.28.jar添加到$HIVE_HOME/lib目录下

3) 创建数据存储位置

此步骤,要先启动hadoop

创建数据仓库的存储位置,并赋予权限

4) 显示查询的表头

为了,能看到表的数据库和表头信息需要在配置文件(hive-site.xml)里面,加入

<property>
       <name>hive.cli.print.header</name>
       <value>true</value>
   </property>
   <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

当然,还存在其它配置方式,这个方式一劳永逸。

5) 启动metastore

nohup hive --service metastore >/dev/null 2>&1 &

Hive元数据表名和作用简介

2.测试Hive

创建表

create table student(id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';

导入数据

load data local inpath '/opt/modules/hive-1.2.1/stu.txt' into table student;

经过MR的执行

三.总结

HIVE分布式部署,很简单,只需要将相应配置和依赖拷贝到其它节点即可。Hive目前来说,在大数据领域还是数据仓库的标配。掌握,Hive的原理,调优,尤其是数据倾斜还是很有帮助,当然,大部分调优还是要牢牢掌握MR的调优,毕竟人家是底层呀。

推荐阅读:

1,Hadoop伪分布式集群安装部署

2,Spark部署模式另类详解

3,Hbase源码系列之BufferedMutator的Demo和源码解析

4,Hbase源码系列之源码前奏hbase:meta表相关详细介绍

原文发布于微信公众号 - Spark学习技巧(bigdatatip)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA技术站

Sqoop的安装与Mysql的数据导入到hdfs框架中

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将...

15510
来自专栏Hadoop实操

Cloudera Manager管理控制台

Cloudera Manager管理控制台(Cloudera Manager Admin Console)是一个基于Web的用户界面,用于配置,管理和监控CDH...

1.3K110
来自专栏熊二哥

Hadoop快速入门

传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总...

95160
来自专栏用户画像

Hive 内表与外表的区别

②创建外部表多了external关键字说明以及location ‘/home/wyp/external’

12730
来自专栏分布式系统和大数据处理

安装和配置Hive

直接通过MapReduce来对存储在Hadoop HDFS上的数据进行查询和分析比较繁琐而且还需要编程。Hive是一个数据仓库系统,构建在HDFS之上,它提供了...

35230
来自专栏Spark学习技巧

spark调优系列之高层通用调优

一,并行度 集群不会被充分利用,除非您将每个操作的并行级别设置得足够高。Spark自动会根据文件的大小,是否可分割等因素来设置map的数目(后面会详细讲解输入格...

22970
来自专栏Hadoop实操

如何将CDH从企业版降级为免费版

在使用CDH企业版时,当License过期后,在CM顶部总是会有一个红色的banner条显示License已过期。我们有时会觉得它影响美观,想要考虑将CDH从企...

85850
来自专栏Hadoop实操

如何编译Livy并在非Kerberos环境的CDH集群中安装

在前面的文章Fayson介绍了《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》,由于Cloudera暂未将Livy服...

73060
来自专栏程序员笔录

Spark 开发环境搭建

本文是对初始接触 Spark 开发的入门介绍,说明如何搭建一个比较完整的 Spark 开发环境,如何开始应用相关工具。文中如有错误或者不当之处,敬请指正。

1.9K10
来自专栏岑玉海

Spark部署

  Spark的部署让人有点儿困惑,有些需要注意的事项,本来我已经装成功了YARN模式的,但是发现了一些问题,出现错误看日志信息,完全看不懂那个错误信息,所以才...

37340

扫码关注云+社区

领取腾讯云代金券