#Hive

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。

MRS Flink使用SQL-Client对接Hive

阿峰博客

2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中

5200

hive 底层与数据库交互原理

美食江湖

Hive 的查询功能是由 hdfs 和 mapreduce 结合起来实现的,对于大规模数据查询还是不建议在 hive 中,因为过大数据量会造成查询十分缓慢。 H...

6450

安装和体验hive-1.2

程序员欣宸

Hive是种基于Hadoop的数据仓库工具,将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

11030

hive学习笔记之十一:UDTF

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

10100

hive学习笔记之十:用户自定义聚合函数(UDAF)

程序员欣宸

执行结果如下,可见guangdong的guangzhou和shenzhen总长度为17,jiangsu的nanjing为7,shanxi的xian和hanzho...

15220

大数据开发:Hadoop Hive和Spark的对比

成都加米谷大数据

在大数据处理框架不断更新和优化的过程中,Hadoop和Spark之间既有竞争关系,也有相互协同的需求。比方说Hive和Spark,在一段时间内,很多人认为Spa...

12220

hive学习笔记之九:基础UDF

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

7100

hive学习笔记之八:Sqoop

程序员欣宸

Sqoop是Apache开源项目,用于在Hadoop和关系型数据库之间高效传输大量数据,本文将与您一起实践以下内容:

7350

hive学习笔记之七:内置函数

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

9530

hive学习笔记之六:HiveQL基础

程序员欣宸

结果如下,可见不会根据student表的addressid字段值去address查找记录,而是将addrerss的记录全部连接一次:

7400

hive学习笔记之五:分桶

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

8100

hive学习笔记之四:分区表

程序员欣宸

本文是《hive学习笔记》系列的第四篇,要学习的是hive的分区表,简单来说hive的分区就是创建层级目录的一种方式,处于同一分区的记录其实就是数据在同一个子目...

7120

hive学习笔记之三:内部表和外部表

程序员欣宸

至此,咱们对内部表和外部表已经有了基本了解,接下来的文章学习另一种常见的表类:分区表;

8400

hive学习笔记之一:基本数据类型

程序员欣宸

https://stackoverflow.com/questions/37863194/insert-timestamp-into-hive/37868132

10000

基于Sentry的大数据权限解决方案

岳涛

腾讯云 · 大数据SRE工程师 (已认证)

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户...

358140

基于LDAP认证的大数据权限解决方案

岳涛

腾讯云 · 大数据SRE工程师 (已认证)

LDAP是开放的Internet标准,支持跨平台的Internet协议,在业界中得到广泛认可的,并且市场上或者开源社区上的大多产品都加入了对LDAP的支持,因此...

271140

Alluxio集群搭建并整合MapReduce/Hive/Spark

岳涛

腾讯云 · 大数据SRE工程师 (已认证)

Alluxio是世界上第一个虚拟的分布式存储系统,以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。...

338183

Hive全库数据迁移方案

岳涛

腾讯云 · 大数据SRE工程师 (已认证)

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

493140

大数据开发:Hive on Spark设计原则及架构

成都加米谷大数据

在Spark越来越受到主流市场青睐的大背景下,Hive作为Hadoop生态当中的数仓组件工具,在于Spark生态的配合当中,开始有了Hive on Spark的...

17520

hive窗口函数/分析函数详细剖析

五分钟学大数据

在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数...

20500

扫码关注云+社区

领取腾讯云代金券