前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop——Hive

Hadoop——Hive

作者头像
羊羽shine
发布2019-08-19 21:20:27
3920
发布2019-08-19 21:20:27
举报
文章被收录于专栏:Golang开发Golang开发
概述

官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管理

体系架构

image.png

配置

设置环境变量

代码语言:javascript
复制
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH

修改hive中config目录的配置 设置 hive-env.sh

代码语言:javascript
复制
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

设置 hive-site.xml

代码语言:javascript
复制
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_test?createDatabaseIfNotExist=true</value>
    </property>

<property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>
</configuration>

拷贝MySQL驱动到lib目录下 启动hive

代码语言:javascript
复制
 bin]$ ./hive

创建数据表

代码语言:javascript
复制
create table wordcount (count string);

查看表

代码语言:javascript
复制
show tables;

加载本地数据到表中

代码语言:javascript
复制
hive> load data local inpath '/home/hadoop/data/hello.txt' into table wordcount;

执行job

代码语言:javascript
复制
select word,count(1) from wordcount lateral view explode(split(count,'\t')) wc as word group by word;
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019.08.14 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 概述
  • 体系架构
  • 配置
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档