Hadoop——Hive

概述

官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管理

体系架构

image.png

配置

设置环境变量

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH

修改hive中config目录的配置 设置 hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

设置 hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_test?createDatabaseIfNotExist=true</value>
    </property>

<property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>
</configuration>

拷贝MySQL驱动到lib目录下 启动hive

 bin]$ ./hive

创建数据表

create table wordcount (count string);

查看表

show tables;

加载本地数据到表中

hive> load data local inpath '/home/hadoop/data/hello.txt' into table wordcount;

执行job

select word,count(1) from wordcount lateral view explode(split(count,'\t')) wc as word group by word;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券