Hive-数据仓库

交互方式-用户接口:CLI(linux命令行)、WUI(hive web页面)、Client(连接远程服务HiveServer2,eg:JDBC、ODBC)

Hive命令行模式:

1、进入bin 执行./hiv

2、配置Hive环境变量,直接执行命令:hive --service cli 或 hive

Hive的web模式:

执行hive -service hwi 启动后访问http://master:9999/hwi

Hive的远程服务:

默认端口:10000,执行启动命令:nobup hive --service hiveserver2 &

元数据存储:hive是将元数据存储在mysql或者Derby等,元数据主要依赖MetastoreDB服务

hive数据模型包括表、外部表、分区、桶

解析器、编译器、优化器:完成HQL语法解析,由MapReduce执行

数据存储:存储在HDFS中

HiveQL:用于分析处理存储在HDFS中的结构化数据,它不支持事务及更新操作,延迟比较大

数据库操作:创建内表、创建外表(external关键字,删除表只删除了元数据信息,不删数据)、 创建静态分区表、创建动态分区表、创建带有数据的表 (create table xx as select xx from table)

数据导入:本地与HDFS导入、单表插入、多表插入

数据导出:导出数据到本地及HDFS

HiveQL查询:兼容大部分sql语法,不支持更新和事务

本文分享自微信公众号 - 大数据与微服务架构(gh_7bc8d3796e8e),作者:凹谷

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker的基本概念

    容器:又称“集装箱”,其核心技术是Cgroups和namespace。容器技术通过namespace实现资源隔离,通过Cgroups实现资源控制。

    凹谷
  • 大数据时代个人学习篇

    牛津大学职业研究分析报告可以看到,大数据智能时代首先取代的是比较有规则的职业,如重复性、机械性的会被淘汰,终身学习、人文沟通、信息化与数字化、智能协作等方面的能...

    凹谷
  • 大数据存储HDFS详解

    Google Protocol Buffers(ProtoBuf):只有序列化功能,不具备RPC功能。

    凹谷
  • hive核心基本概念

    基于 Hadoop 的一个数据仓库工具: hive本身不提供数据存储功能,使用HDFS做数据存储, hive也不分布式计算框架,hive的核心工作就是把...

    业余草
  • 腾讯云大数据平台的产品组件介绍及测试方法

    本文将基于数据采集->数据存储->数据处理->数据展现的生命周期,描述一些大数据平台中使用的一些技术,对技术的框架、使用场景进行描述。

    王燚
  • SpringBoot-10-之初阶整合篇(下)

    张风捷特烈
  • SpringBoot技术栈搭建个人博客【前台开发/项目总结】

    先吐槽一句..写页面是真的不擅长,然后限于时间的问题,我开始考虑换用Bootstrap来完成页面的编写,因为时间有限(我得在实习完之前把所有页面开发完),学习V...

    我没有三颗心脏
  • Docker Swarm 日常运维命令笔记

    之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm的日常维护命令,以作为平时运维笔记.

    洗尽了浮华
  • Android 中图片压缩分析(上)

    在 Android 中进行图片压缩是非常常见的开发场景,主要的压缩方法有两种:其一是质量压缩,其二是下采样压缩。

    QQ音乐技术团队
  • 模拟微信支付宝密码输入框的效果

    中午听到别人在讨论微信的支付框以及支付宝的支付框,于是自己写了个demo出来,原理很简单,通过隐藏input,使用label控制显示,实现起来很容易。唤起数字键...

    练小习

扫码关注云+社区

领取腾讯云代金券