hive安装部署

1、 准备环境

1, 软件准备

Java-- jdk-8u121-linux-x64.tar.gz

Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)

Hive-- apache-hive-1.2.1-bin.tar.gz

本系列教程所有jar包,请关注微信公众号 :Spark高级玩法,输入software获取。

Centos 6.5是本文采用的操作系统

2, 安装mysql

yum install mysql-server -y

启动mysql

service mysqld status

service mysqld start

加上账户密码

加上账户密码

mysqladmin -u root password '123456'

添加开机启动

chkconfig mysqld on

chkconfig --list |grep mysqld

测试

mysql -uroot -p123456

整理认证权限

名字叫mysql的数据库中假如需要的认证。

重点强调一定要执行: flush privileges;

二,安装Hive

1. 本地安装测试

配置好HIVE_HOME等环境变量

# Hive
export HIVE_HOME=/opt/modules/hive-1.2.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$PATH:$HIVE_HOME/bin

1) 配置hive-site.xml(需要创建)

<configuration>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://Luffy.OnePiece.com/metastore_db?createDatabaseIfNotExist=true</value>
 <description>JDBC connect string for a JDBC metastore</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a JDBC metastore</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 <description>username to use against metastore database</description>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>123456</value>
 <description>password to use against metastore database</description>
 </property>
 <property>
 <name>hive.metastore.uris</name>
 <value>thrift://Luffy.OnePiece.com:9083</value>
</property>
</configuration>

2) 添加数据库驱动

mysql-connector-java-5.1.28.jar添加到$HIVE_HOME/lib目录下

3) 创建数据存储位置

此步骤,要先启动hadoop

创建数据仓库的存储位置,并赋予权限

4) 显示查询的表头

为了,能看到表的数据库和表头信息需要在配置文件(hive-site.xml)里面,加入

<property>
       <name>hive.cli.print.header</name>
       <value>true</value>
   </property>
   <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

当然,还存在其它配置方式,这个方式一劳永逸。

5) 启动metastore

nohup hive --service metastore >/dev/null 2>&1 &

Hive元数据表名和作用简介

2.测试Hive

创建表

create table student(id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';

导入数据

load data local inpath '/opt/modules/hive-1.2.1/stu.txt' into table student;

经过MR的执行

三.总结

HIVE分布式部署,很简单,只需要将相应配置和依赖拷贝到其它节点即可。Hive目前来说,在大数据领域还是数据仓库的标配。掌握,Hive的原理,调优,尤其是数据倾斜还是很有帮助,当然,大部分调优还是要牢牢掌握MR的调优,毕竟人家是底层呀。

推荐阅读:

1,Hadoop伪分布式集群安装部署

2,Spark部署模式另类详解

3,Hbase源码系列之BufferedMutator的Demo和源码解析

4,Hbase源码系列之源码前奏hbase:meta表相关详细介绍

本文分享自微信公众号 - Spark学习技巧(bigdatatip),作者:浪尖

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SparkSql的优化器-Catalyst

    一,概述 为了实现Spark SQL,基于Scala中的函数编程结构设计了一个新的可扩展优化器Catalyst。Catalyst可扩展的设计有两个目的。 首先,...

    Spark学习技巧
  • 最近做大数据面试官的感想

    Spark学习技巧
  • Scala语言基础之结合demo和spark讲实现链式计算

    一,什么是链式计算 1,一般开发习惯把事情封装到一个方法中;链式编程思想是把要做的事情封装到block中,给外部提供一个返回这个block的方法 2,链式编程思...

    Spark学习技巧
  • Hadoop——Hive

    官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管...

    羊羽shine
  • Hadoop Hive Hbase Kylin 环境搭建

    # hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <conf...

    lpe234
  • 「R」使用Rmarkdown进行博文写作

    我实际做的事情就是写了两个R的函数,可以通过调用的方式创建Rmarkdown文档,并利用knitr包的knit函数将其转换为markdown文档。

    王诗翔呀
  • Python入门之面向对象编程(一)面向对象概念及优点

    本文分为如下几个部分 首先说明面向对象是什么,然后结合实际例子说明面向对象的如下几个优点 方便函数管理 数据封装 对象操作 最后总结一下面向对象的好处 概念...

    Jetpropelledsnake21
  • SQlite数据库简介Android网络与数据存储

    SQLite看名字就知道是个数据库,Android专门为移动端内置了此种轻量级工具,并且为了方便在Java语言中进行数据库操作,编写了SQLiteOpenHel...

    爱因斯坦福
  • SAP UI5应用里搜索功能的实现

    在一个包含了list的XML视图里,使用SearchField标签页定义一个搜索按钮。点击之后,执行的事件处理函数为handleSearch:

    Jerry Wang
  • Kubernetes 环境的 Tensorflow Serving on S3

    在 Tensorflow 给的官方例子中 Use TensorFlow Serving with Kubernetes,是将模型拷贝到镜像里的,这里是会有点不太...

    runzhliu

扫码关注云+社区

领取腾讯云代金券