专栏首页cwl_Java大数据-Hive表创建语法

大数据-Hive表创建语法

1. Hive 表操作

1.1. Hive表创建语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] 
INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]

说明:

  1. CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。
  2. . EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),
  3. Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的 位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。 . LIKE 允许用户复制现有的表结构,但是不复制数据。
 . ROW FORMAT DELIMITED 
 [FIELDS TERMINATED BY char] 
 [COLLECTION ITEMS TERMINATED BY char] 
 [MAP KEYS TERMINATED BY char] 
 [LINES TERMINATED BY char] | SERDE serde_name 
 [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)] 
  1. 用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指 定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。
. STORED AS SEQUENCEFILE|TEXTFILE|RCFILE 
  1. 如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE
  2. CLUSTERED BY 对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也 是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当 中。
  3. 把表(或者分区)组织成桶(Bucket)有两个理由: 7.1. 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言, 连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。 比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列 值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。 7.2. 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 前端基础-CSS尺寸与行高属性

    取值:数字 + px/百分比/em -------------------------px代表像素,百分比代表浏览器宽度的百分比,em代表字符数

    cwl_java
  • PHP-作用域

    默认情况下,函数内部不能访问函数外部的变量,但在匿名函数中,可以通过use将外部变量引入匿名函数中

    cwl_java
  • 大数据-Hive的基本概念

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL查询功能。

    cwl_java
  • php 中file_get_contents超时问题的解决方法

    最近开发遇到一个file_get_contents超时的问题,主要是因为访问腾讯服务器导致php脚本超时,下面我来总结file_get_contents超时问题...

    joshua317
  • SQL字典式教程

    SQL(Structure Query Language)又称结构化设计语言。是一门数据库语言,其作用包括数据定义Statistic Define、数据操纵Ma...

    EatRice
  • Laravel 5.5 为响应请求提供的可响应接口

    Laravel 5.5 的路由中增加了一种新的返回类型:可相应接口(Responsable)。该接口允许对象在从控制器或者闭包路由中返回时自动被转化为标准的 H...

    小李刀刀
  • 他们与百万年薪,梦寐以求的名校Ph.D曾肩而过

    又到了高考报专业的时候,家长帮孩子们选择专业看似很平常,毕竟在他们眼里,孩子还只是孩子,拿不准未来到底干什么。

    double
  • 画流程图神器:亿图图示专家

    2016-03-1614:45:54 发表评论 676℃热度 学生党文档比较多,一到学期末,各种实训报告,论文等等,里面经常要画流程图,UML图,以前用off...

    timhbw
  • R-基本绘图参数(Ⅰ)

    图形是进行数据的趋势观察和数据展示的一种很好的手段。R语言基本函数, plot函数,属于graphics包。

    西游东行
  • 分分钟搞懂rank() over(partition by)的使用Spark2 Dataset分析函数--排名函数row_number,rank,dense_rank,percent_rank

    一、rank() over(partition by ...order by) 解释:partition  by用于给结果集分组,如果没有指定那么它把整个结果集...

    互联网金融打杂

扫码关注云+社区

领取腾讯云代金券