Hive的HQL(2)

Hive基础(1)

Hive的HQL(2)

1. HQL的数据定义,HQL是一种SQL方言,支持绝大部分SQL-92标准。但是和SQL的差异为:不支持行级别的操作,不支持事务等。HQL的语法接近于MySQL。

2. Hive的数据库,本质仅仅是个表的目录或者命名空间。一般用数据库将生产表组织成逻辑组。

3. Hive中的表–管理表,创建表时未指定的话为默认为管理表。当删除管理表时,Hive将删除管理表中的数据和元数据。

CREATE TABLE IF NOT EXISTS test.student (
name    STRING COMMENT 'student name',
age     INT COMMENT 'student age',
cource  ARRAY<STRING>,
body    MAP<STRING,FLOAT>,
address STRUCT<STRING,CITY:STRING,STATE:STRING>)
COMMENT 'the info of student'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TEMINATED BY '\003'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/user/hive/warehouse/test.db/student';
  • COMMENT注释作用
  • ROW FORMAT DELIMITED等指定数据格式和文件存储格式。
  • LOCATION子句指定该表的存储位置,若不写存储在Hive默认的数据仓库目录中。

4. Hive中的表–外部表,当数据需要被多个工具(如Pig、Hive)共享时,创建一个外部表明确数据的所有权,Hive只会删除该表的元数据信息,而不会删除该表的数据。

CREATE EXTERNAL TABLE IF NOT EXISTS test.student(
name STRING COMMENT,
age INT COMMENT,
cource ARRAY<STRING>,
body MAP<STRING,FLOAT>,
address STRUCT<STREET:STRING,CITY:STRING,STATE:STRING>)
LOCATION '/user/test/x'
  • EXTERNAL TABLE 创建一个外部表

5. Hive中的表–分区表(partition),分区表可以进行水平切分,将表数据按照某种规则进行存储。

CREATE TABLE student_info(
student_ID STRING,
name STRING,
age INT,
sex STRING,
father_name STRING,
mother_name STRING)
PARTITIONED BY (province STRING,city STRING);
  • PARTITIONED BY 子句指定表按照学生家庭住址的city和province字段进行分区。
  • /user/hive/warehouse/student_info/province=hebei/city=handan
  • 分区的作用相当和索引类似。
  • Hive安全措施,设置“strict”模式,这样如果针对一个分区表的查询没有对分区进行限制的话,改作业将会被禁止提交。
  • 单独为外部表的分区指定值和存储位置
ALTER TABLE student_info ADD PARTITION (province = hebei,city = handan) LOCATION 'hdfs://master:9000/student/hebei/handan'
  • 外部分区表被删除,数据不会被删除。

6. 删除表 DROP TABLE test 或者 DROP TABLE IF EXISTS test

7. 修改表

  • 表重命名 ALTER TABLE test RENAME TO test2
  • 增加、修改、删除分区
    • 增加分区 ALTER TABLE test ADD PARTITION (x = x1, y = y2) LOCATION ‘/user/test/x1/y1’
    • 修改分区 ALTER TABLE test ADD PARTITION (x = x1, y = y2) SET LOCATION ‘/user/test/x1/y1’
    • 删除分区 ALTER TABLE test ADD DROP PARTITION (x = x1, y = y2)
  • 修改列信息 ALTER TABLE test CHANGE COLUMN id uid INT COMMENT ‘the unique id’ AFTER name;
  • 增加列 ALTER TABLE test ADD COLUMNS (new_col INT, new_col2 STRING);
  • 删除或者替换列 ALTER TABLE test REPLACE COLUMNS (new_col INT, new col2 STRING);

8. HQL的数据操作 LOAD DATA

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据库新发现

Oracle9i新特性-索引监视及注意事项[修正版]

Last Updated: Saturday, 2004-12-04 10:28 Eygle

903
来自专栏pangguoming

Spring Security OAuth2 Demo

Spring Security OAuth2 Demo 项目使用的是MySql存储, 需要先创建以下表结构: CREATE SCHEMA IF NOT EXIS...

8797
来自专栏白驹过隙

MySQL - MySQL++在c++11环境下接口设计

1235
来自专栏散尽浮华

利用mk-table-checksum监测Mysql主从数据一致性操作记录

前面已经提到了mysql主从环境下数据一致性检查:mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理 今天这里再介...

3688
来自专栏杨建荣的学习笔记

虚拟专用数据库VPD应用 (48天)

系统中有个需求,需要把一个表里的信用卡号字段进行权限管理,大家讨论再三,说TDE不太好,因为需求希望能够让有些用户可以访问这个表,但是卡号字段读不到东西。有些用...

2844
来自专栏Youngxj

emlog网站信息统计代码

3584
来自专栏个人分享

hiveql笔记(一)

create table if not exists mydb.employees{

882
来自专栏技术小黑屋

十分钟掌握SQLite操作

最近用Ruby写了一个七牛的demo参赛作品,使用了sqlite3,用到很多操作,利用假期的时间,简单做一个快速掌握SQLite命令的小入门。

1873
来自专栏乐沙弥的世界

ORA-00054 故障处理一例

最近index job出现失败,于是尝试手动执行试试。收到了ORA-00054的错误消息。

1273
来自专栏Albert陈凯

hive的partition的作用和使用方法

一、背景 在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partiti...

4194

扫码关注云+社区

领取腾讯云代金券