首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何归档hive表?

Hive是一个基于Hadoop的数据仓库基础设施,用于处理大规模数据集。归档Hive表是将表中的数据移动到长期存储位置,以减少对主存储的压力,同时保留数据以供后续查询和分析使用。

归档Hive表的步骤如下:

  1. 创建一个新的目标表,用于存储归档数据。可以使用Hive的CREATE TABLE语句来定义表的结构和存储格式。例如:
  2. 创建一个新的目标表,用于存储归档数据。可以使用Hive的CREATE TABLE语句来定义表的结构和存储格式。例如:
  3. 在上述示例中,我们创建了一个名为archived_table的新表,定义了列和数据类型,并选择了Parquet作为存储格式。你可以根据实际需求选择不同的存储格式,如ORC、Avro等。
  4. 将原始表中的数据插入到归档表中。使用INSERT INTO语句将原始表的数据插入到归档表中。例如:
  5. 将原始表中的数据插入到归档表中。使用INSERT INTO语句将原始表的数据插入到归档表中。例如:
  6. 上述示例中,我们使用SELECT * FROM语句从原始表中选择所有数据,并将其插入到归档表中。
  7. 验证数据是否成功归档。可以运行一些查询语句,检查归档表中的数据是否正确。例如:
  8. 验证数据是否成功归档。可以运行一些查询语句,检查归档表中的数据是否正确。例如:
  9. 上述示例中,我们使用COUNT(*)函数来计算归档表中的记录数,以确保数据成功归档。
  10. 删除原始表中已归档的数据。在确认数据已成功归档后,可以使用DELETE语句从原始表中删除已归档的数据。例如:
  11. 删除原始表中已归档的数据。在确认数据已成功归档后,可以使用DELETE语句从原始表中删除已归档的数据。例如:
  12. 上述示例中,我们使用WHERE子句指定删除条件,以删除原始表中符合条件的数据。

归档Hive表的优势在于可以将不经常访问的数据移动到长期存储位置,从而减少对主存储的负载。这有助于提高查询性能和系统的整体效率。归档表还可以作为数据备份和恢复的一种方式,以防止数据丢失。

归档Hive表适用于以下场景:

  • 需要保留历史数据以供分析和查询。
  • 数据量庞大,无法全部存储在主存储中。
  • 部分数据不再频繁访问,但仍然需要保留。

腾讯云提供了一系列与Hive相关的产品和服务,如TencentDB for Hive、Tencent Cloud Object Storage(COS)等。你可以通过以下链接了解更多关于这些产品和服务的详细信息:

请注意,以上答案仅供参考,具体的归档方法和推荐产品可能因实际需求和环境而异。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Hive如何创建elasticsearch外部

外部Hive提供了一种外部的功能,外部只需要与数据存储位置上的现有数据建立关联,无需将数据移动至Hive存储库中进行存储,即可使用外部数据源。...创建外部只需在创建时使用 `EXTERNAL` 关键字指定的类型。在以下样例中:我们在'LOCATION'参数指定了外部数据的存储位置。Hive 将使用该位置中的数据来填充外部。...Hive强大且完善的类SQL能力,我们可以在Hive中通过创建elasticsearch外部的方式来实现对elasticsearch集群数据的查询。...弹性扩展:通过Hive创建elasticsearch外部,可以将elasticsearch 的数据与其他数据源进行联合查询。...安全性和权限控制:Hive 提供了灵活的安全性和权限控制机制,可以对elasticsearch外部进行访问控制,保护数据的安全性。

36321

如何Hive加载数据

Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 向Hive加载数据主要有以下几种方式...: 1.通过Insert的方式加载数据 2.从本地文件系统导文件到Hive 3.从HDFS加载数据到Hive 4.单个查询语句中创建并加载数据 本文主要是通过实操的方式来介绍Hive的这几种数据加载...test_user中id大于3并且小于5的数据插入到my_table中,执行结果如下: [gvleu5r51s.jpeg] 3.使用覆盖的方式从test_user查询相应数据并插入到Hive中...用户 sudo -u hdfs hadoop fs -chown -R hive:hive /data (可向右拖动) 2.在命令行使用追加的方式Load HDFS数据文件到Hive中 LOAD DATA...Load HDFS文件到Hive时,文件会被Move到对应的数据目录下,且保持文件名。 使用Load命令时如果没有OVERWRITE,会直接APPEND到Hive中,并且不会去除重复数据。

3.2K60

如何Hive中生成Parquet

中使用Parquet》,本篇文章主要介绍如何使用Hive来生成Parquet格式的,并介绍如何限制生成的Parquet文件的大小。...已使用hive-testbench生成好Hive的基准测试数据 2.测试数据准备 ---- 1..使用hive-testbench生成15GB测试数据,挑选catalog_sales做为测试表 生成的数据为...查看catalog_sales生成的text数据大小 ? 具体的数据如何生成,大家可以参考Fayson前面讲的《如何编译及使用hive-testbench生成Hive基准测试数据》。...2.使用hive命令行执行如下脚本,创建Parquet并导入数据 [root@ip-172-31-21-83 impala-parquet]# hive -f load_parquet_hive.sql...如上截图可以看parquet文件的Block为1个,说明生成的paruqet文件未出现跨Block的现象,与Fayson前面文章《如何在Impala中使用Parquet》中介绍的“为Impala使用合适大小的

6.4K41

如何使用Sentry管理Hive外部(补充)

1.文档编写目的 ---- 本文文档主要讲述如何使用Sentry管理Hive/Impala外部权限。...2.创建测试库及外部 ---- 使用hive用户登录Kerberos,并通过beeline登录HiveServer2 创建fayson数据库 0: jdbc:hive2://localhost:10000...数据库对student_hive操作 可以向中插入数据 0: jdbc:hive2://localhost:10000/> insert into student_hive values('lisi...-31-6-148 ~]$ 测试总结: hive创建的外部,通过Sentry授权后,fayson用户组使用beeline和Hue能对该进行查询和插入操作。...如果你需要管理外部,那么你就需要按照之前的标准文档来操作。如何使用Sentry管理Hive外部权限 醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!

1.2K40

如何使用Sentry管理Hive外部权限

1.文档编写目的 本文档主要讲述如何使用Sentry对Hive外部权限管理,并基于以下假设: 1.操作系统版本:RedHat6.5 2.CM版本:CM 5.11.1 3.集群已启用Kerberos和Sentry...4.采用具有sudo权限的ec2-user用户进行操作 2.前置准备 2.1创建外部数据父目录 1.使用hive用户登录Kerberos [root@ip-172-31-8-141 1874-hive-HIVESERVER2...3.创建Hive外部 1.使用beeline命令行连接hive,创建Hive外部 建表语句: create external table if not exists student(...5.为fayson用户赋予student读权限 注:以下操作均在hive管理员用户下操作 1.创建student_read角色 0: jdbc:hive2://localhost:10000/> create...7.Sentry管理Hive外部权限总结 开启外部的数据父目录ACL同步后,不需要单独的维护外部数据目录权限。

5.2K91

hive学习笔记——Hive的创建

——2015.07.28 一、Hive概述         Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据,并提供类似于SQL(HiveSQL)的操作功能。...Hive的基本操作与传统的数据库的操作类似,所不同的是Hive的SQL语句会转换成MapReduce程序执行,对于特定的查询等操作,具有更高的性能。...这部分的笔记是假设已经搭建好Hive以及Hadoop集群,主要精力放在对Hive以及Hadoop的基本操作上。 二、Hive的基本操作之DDL 1、启动Hive Hive ?...当出现hive>就表示已经进入Hive环境,此时可以进行Hive的基本操作。 2、建立Hive 格式: ?...3、查看Hive的信息 describe ? 4、查看分区信息 show partitions table_name 5、删除 drop table table_name ?

1.4K20

HIve内部外部概念

外部(external table) 有external修饰,数据保存在HDFS上,该位置由用户指定。删除时,只会删除的元数据,所以外部不是由Hive完全管理的 ---- 2....内部(internal table/managed table) 没有external修饰,数据保存在Hive默认的路径下,数据完全由Hive管理,删除时元数据和数据都会一起删除。...外部数据由HDFS管理,Hive管理外部元数据,尔内部数据和元数据都由Hive管理 2....外部数据存储位置由用户指定,而内部的数据默认存储位置为/apps/hive/warehouse/数据库名.db/数据文件名 3....希望做数据备份并且不经常改变的数据,存放在外部可以减少失误操作 2. 数据清洗转换后的中间结果,可以存放在内部,因为Hive对内部支持的功能比较全面,方便管理 3.

80110

Hive 内部与外部

托管(内部)和外部Hive中的两种不同类型的,在这篇文章中,我们将讨论Hive中表的类型以及它们之间的差异以及如何创建这些以及何时将这些用于特定的数据集。 1....内部 托管(Managed TABLE)也称为内部(Internal TABLE)。这是Hive中的默认。当我们在Hive中创建一个,没有指定为外部时,默认情况下我们创建的是一个内部。...Hive每创建一个都会在hive.metastore.warehouse.dir指向的目录下以名创建一个文件夹,所有属于这个的数据都存放在这个文件夹里面/user/hive/warehouse/tb_station_coordinate.../hive/warehouse/目录下以外部名创建一个文件夹,并将属于这个的数据存放在这里。...使用场景 3.1 内部 数据是临时的 希望使用Hive来管理和数据的生命周期 删除后不想要数据 3.2 外部 这些数据也在Hive之外使用。

3.1K20

hive学习笔记——Hive的创建

——2015.07.28 一、Hive概述         Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据,并提供类似于SQL(HiveSQL)的操作功能。...Hive的基本操作与传统的数据库的操作类似,所不同的是Hive的SQL语句会转换成MapReduce程序执行,对于特定的查询等操作,具有更高的性能。...这部分的笔记是假设已经搭建好Hive以及Hadoop集群,主要精力放在对Hive以及Hadoop的基本操作上。 二、Hive的基本操作之DDL 1、启动Hive Hive ?...当出现hive>就表示已经进入Hive环境,此时可以进行Hive的基本操作。 2、建立Hive 格式: ?...3、查看Hive的信息 describe ? 4、查看分区信息 show partitions table_name 5、删除 drop table table_name ?

4.1K30

Hive操作三(修改

秋天 autumn Hive操作三(修改) 注:大多数表属性可以通过ALTER TABLE语句来进行修改,这种操作会修改元数据,但不会修改数据本身 *重命名...eg: ALTER TABLE app RENAME TO user; *增加、修改和删除分区 --ALTER TABLE tablename ADD PARTITION ......语句用于为(通常是外部)增加一个新的分区 eg: ALTER TABLE app ADD IF NOT EXISTS PARTITION...即使是使用ALTER TABLE...ADD PARTITION 语句增加的分区,分区内的数据也是会同时和元数据信息一起被删除的 对于外部,分区内数据不会被删除...pv,uv,增加了message字段,因为是ALTER语句,所以只有的元数据信息改变了 *修改属性 --可以增加附加的属性或者修改已经存在的属性,但是无法删除属性

1.8K30

Hive操作一

Hive操作一 *文本文件 -CSV:以逗号分隔的文本文件 -TSV:以制表符分隔的文本文件 这两种文件格式Hive都支持,但是有个缺点就是用户要对文本文件中那些不需要作为分隔符处理的逗号或者制表符格外小心...2.增加 IF NOT EXISTS,若存在,Hive会忽略后面的建表语句,而且不会有提示,所以第一次建 IF NOT EXISTS 会有用 3.但需要注意是的,如果已存在的和这个模式不一样...,Hive不会做出提示,如果要用新模式需删除原,然后重新建。...但defult库是个例外,他在/user/hive/warehouse下没有对应库目录,所以defult库中的目录直接位于/user/hive/warehouse目录后(明确指定例外) *拷贝(...table3 --不在该库下列举该库下的所有 eg:hive >USE default; hive > SHOW

1.1K30
领券