MacOS 下hive的安装与配置

超哥的杂货铺

发布于 2019-12-18 10:59:31

1.4K0

发布于 2019-12-18 10:59:31

文章被收录于专栏：超哥的杂货铺

之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一，允许用户使用类似SQL的方式，很方便地进行离线数据的统计分析。本节我们就在Hadoop集群的基础上进行Hive的安装与配置。

环境和软件版本说明

系统：MacOS 终端：iterms2 + zsh Hadoop: hadoop-2.6.0-cdh5.7.0.tar.gz 下载地址:http://archive.cloudera.com/cdh5/cdh/5/ Hive：hive-1.1.0-cdh5.7.0.tar.gz，下载地址：http://archive.cloudera.com/cdh5/cdh/5/ MySQL：5.7.26 dmg镜像，下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads

MySQL安装与配置

mac下安装MySQL有多种方式，如使用homebrew安装，使用dmg镜像安装等。这里我们采用后一种方式。与安装JDK一样，双击下载好的安装包，按照提示一步一步进行即可。中间会弹出与下图类似的提示，需要记住这个临时密码，即红框里的一串字符，在后面登录修改密码的时候会用到。

需要记录MySQL安装时的临时密码

安装成功后在系统设置里出现MySQL服务

正确安装好后，在系统设置的最下方会出现一个MySQL的服务(如果没有，将设置关闭之后重新打开试试。)，点击这个图标，就可以开启MySQL的服务。

启动MySQL服务

服务开启后，我们就可以在终端里登录mysql，执行的命令为mysql -u root -p表示以root用户登录。回车后会提示输入密码，输入刚刚我们记录的临时密码，回车。正确的话，就能进入到MySQL 的命令模式下。

用临时密码登录MySQL

mysql> set password for root@localhost = password('123456');  #修改mysql密码为123456
#可以使用exit;退出后用新密码登录看是否修改成功。
show databases;#查看已经有的数据库，能正常显示说明已经安装成功。
#tips:注意这里的几行命令都是在MySQL shell中执行的，所有在mysql shell下执行的命令都以分号结尾

修改MySQL密码

至此我们安装好了MySQL。为什么需要安装MySQL呢？原因是：

默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不使用，为了支持多用户会话，则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。

因此，MySQL的安装并不是必要的，但为了深入学习，我们还是选择安装。

Hive安装与配置

1.解压安装包

解压下载的hive软件包

tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/hadoop/app #与之前安装HADOOP一样，我们同样解压hive到app目录下

2.设置HIVE_HOME环境变量

cd ~/hadoop/app#切换到app目录下
cd hive-1.1.0-cdh5.7.0 #切换到hive目录下
pwd#查看当前路径，就是我们后面需要用的HIVE_HOME
vi ~/.zshrc#编辑配置文件添加HIVE_HOME
source ~/.zshrc#重启使其生效

查看HIVE_HOME的值

添加HIVE_HOME到环境变量中

参考图中对环境变量的设置，添加HIVE_HOME并重启使其生效。

3.修改hive的配置文件

我们需要修改在HIVE_HOME/conf下的两个文件，分别是hive-env.sh和hive-site.xml。前者需要复制hive-env.sh.template得到，后者则需要自己创建。

hive配置文件所在位置

hive-env.sh只需要修改一处，即将HADOOP_HOME补充完整即可。

修改hive-env.sh 我们使用的这个版本没有hive-site.xml的模板，我从网上找了一个，然后将自己的配置添加进去，你可以复制下面的代码，修改为自己的配置。具体配置和注释如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value><!--MySQL地址metastore是元数据库的名称，需要在mysql中创建相同名字的数据库-->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value><!--MySQL驱动-->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value><!--MySQL用户名-->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value><!--MySQL密码-->
        </property>
</configuration>

4.在HIVE_HOME/lib文件夹下添加mysql驱动。

下载地址：https://dev.mysql.com/downloads/connector/j/5.1.html

zip包里的MySQL驱动

下载的zip包里，有一个mysql-connector文件，如图中红框所示，需要将这个文件copy到HIVE_HOME/lib下。

5.创建mysql元数据库并进行初始化

首先登录MySQL，创建一个名为metastore的数据库，此处的名字需要和刚刚hive-site.xml中数据库的名称一致。用来存放hive的元数据。可以看到，刚创建的时候，metastore是空的，通过执行show tables;可以验证。

在MySQL中创建metastore表

之后我们在命令行里(不是mysql shell里)执行初始化命令： schematool -initSchema -dbType mysql #注意：如果前一步没有按照说明正确放置mysql-connector文件，这里是会报错的，初始化也会失败，相应的示意图如下。

启动hive并进行简单测试hive的使用和MySQL语法很类似。如图，我们使用了几个简单的命令来测试，发现默认有一个default数据库，但是里面没有任何表。关于Hive具体的使用，例如如何创建表以及如何写入数据？hive和HDFS之间有什么联系，元数据库如何存储Hive的数据等。我们后续再来深入学习。本文完。