在经过几天MapReduce的学习之后,我们总算是来到了Hive阶段。本篇博客小菌将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分!
我们可以清楚地看到,Hive的图案是一只长着大象脑袋的蜜蜂!为什么是长着大象的脑袋?小菌在这里为大家留下一个悬念,答案就在图里~~接下来我们正式进入Hive的学习!!!
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。 其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具。
直接使用Hadoop所面临的问题:
为什么要使用Hive:
架构图
基本组成
Hive利用HDFS存储数据,利用MapReduce查询分析数据
hive用于海量数据的离线数据分析
总结: hive具有sql数据库的外表,但应用场景完全不同,hive只适合用来做批量数据统计分析
1、Hive中所有的数据都存储在 HDFS 中,没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,ORC格式RCFILE等)
2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。
3、Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket。
我们在此处选择第一台机器作为我们hive的安装机器。
友情提示: Hive的功能基于MapReduce和HDFS,所以在保证Hive能正常运行的前提是MapReduce和HDFS能正常使用!
1、解压hive
cd /export/softwares
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/
2、直接启动 bin/hive
cd ../servers/
cd hive-1.1.0-cdh5.14.0/
bin/hive
hive> create database mytest;
当我们在一台节点上的Hive上创建了一个数据库,跑到其他节点上发现不存在!说明每个节点上的数据不统一!
缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一;
因为用这种方式hive的元数据无法统一,所以这种方式基本就"没用"了!因此,我们需要换下面一种方式实现各节点的数据共享!!!
mysql数据库的安装
yum install mysql mysql-server mysql-devel
/etc/init.d/mysqld start
chkconfig mysqld on
use mysql;
配置远程连接
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
刷新
flush privileges;
update user set password=password('123456') where user='root';
刷新
flush privileges;
修改hive的配置文件
添加我们的hadoop的环境变量:
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
修改的文件中具体位置如下:
HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 #Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/export/servers/hive-1.1.0-cdh5.14.0/conf
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node01</value>
</property>
<!--
<property>
<name>hive.metastore.uris</name>
<value>thrift://node03.hadoop.com:9083</value>
</property>
-->
</configuration>
配置文件中node01为该节点的主机别名,如若不同请自行修改!
上传mysql的lib驱动包
接着最重要的一步,就是将mysql的lib驱动包上传到hive的lib目录下
cd /export/servers/hive-1.1.0-cdh5.14.0/lib
将mysql-connector-java-5.1.38.jar 上传到这个目录下
成功之后,效果展示:
本次的分享就到这里了,喜欢的小伙伴们不要忘了点赞关注小菌,后续小菌将会分享更多的Hive教程,敬请期待ヾ(๑╹◡╹)ノ"