#Hive

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。

No FileSystem for scheme "s3"问题解决

huanhuan sama

公司使用s3的路径去关联hive的分区,现在接入spark on k8s引入了3.0以上的hadoop版本,高版本的hadoop版本开始支持s3a配置。

24230

实测|MatrixDB是Hive的25.8倍

小徐

本次测试主要是MatrixDB和Hive进行使用国际标准TPCH工具测试,并分别查看22条SQL的耗时。对比MatrixDB与Hive在1204GB数据量下查询...

21861

数据开发治理平台Wedata之数仓建设实践

张志刚

本案例基于腾讯云一站式开发治理平台Wedata、私有网络VPC、云数据库Mysql和弹性Mapreduce构建了全流程的离线数仓建设流程。通过模拟业务数据的导入...

29650

Mac hadoop + hive整合s3-伪分布式环境

huanhuan sama

JDK: java1.8 路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0_291.jdk/Contents/Hom...

18430

Hive常用函数

硅谷子

MBP · 大数据开发工程师 (已认证)

select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd');

8720

图解大数据 | 海量数据库查询-Hive与HBase详解

ShowMeAI

Hive是基于Hadoop的一个数据仓库工具,用于结构化数据的查询、分析和汇总。Hive提供类SQL查询功能,它将SQL转换为MapReduce程序。

18460

图解大数据 | 实操案例-Hive搭建与应用案例

ShowMeAI

大数据生态中最重要的工具平台之一是Hive,它是离线计算的关键组件,常用于数仓建设,在公司内会通过SQL实现大数据的统计与报表。下面来看一下Hive的搭建和配置...

14520

hive metastore配置kerberos认证

从大数据到人工智能

hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metas...

20320

用ranger对hive metastore 进行授权管理

从大数据到人工智能

hive standalone metastore 3.1.2可作为独立服务,作为spark、flink、presto等服务的元数据管理中心,然而在现有的hiv...

18800

Hive自定义UDF函数详解

美食江湖

UDF全称:User-Defined Functions,即用户自定义函数,在Hive SQL编译成MapReduce任务时,执行java方法,类似于像MapR...

1.8K20

Hive 大数据表性能调优

美食江湖

Hive表是一种依赖于结构化数据的大数据表。数据默认存储在 Hive 数据仓库中。为了将它存储在特定的位置,开发人员可以在创建表时使用 location 标记设...

17230

MRS Flink使用SQL-Client对接Hive

玖柒的小窝

2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中

37800

hive 底层与数据库交互原理

美食江湖

Hive 的查询功能是由 hdfs 和 mapreduce 结合起来实现的,对于大规模数据查询还是不建议在 hive 中,因为过大数据量会造成查询十分缓慢。 H...

24650

安装和体验hive-1.2

程序员欣宸

Hive是种基于Hadoop的数据仓库工具,将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

22330

hive学习笔记之十一:UDTF

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

19700

hive学习笔记之十:用户自定义聚合函数(UDAF)

程序员欣宸

执行结果如下,可见guangdong的guangzhou和shenzhen总长度为17,jiangsu的nanjing为7,shanxi的xian和hanzho...

57320

大数据开发:Hadoop Hive和Spark的对比

成都加米谷大数据

在大数据处理框架不断更新和优化的过程中,Hadoop和Spark之间既有竞争关系,也有相互协同的需求。比方说Hive和Spark,在一段时间内,很多人认为Spa...

43420

hive学习笔记之九:基础UDF

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

13500

hive学习笔记之八:Sqoop

程序员欣宸

Sqoop是Apache开源项目,用于在Hadoop和关系型数据库之间高效传输大量数据,本文将与您一起实践以下内容:

13650

hive学习笔记之七:内置函数

程序员欣宸

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器...

14330

扫码关注腾讯云开发者

领取腾讯云代金券