#Hive

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。

mapreduce报错:java.io.IOException: Split metadata size exceeded 10000000

mikealzhou

腾讯 · 大数据产品技术架构师 (已认证)

客户在用hive sql做几张表的组合分析,使用mr引擎。 因为其中有一张表超过5万个分区,数据总量超过8千亿条,因此运行过程中出现失败,报错如下所示:

9720

0631-6.2-如何确认一个Parquet文件是否被压缩

Fayson

自此问题重现成功,即通过Hive的命令无法确认Parquet表到底是否被压缩,这是因为通过Hive的命令即desc extended是没办法确认的,命令打印结果...

6020

0632-6.2-通过Hive生成的Snappy表Impala无法访问异常分析

Fayson

可以发现生成文件的后缀都是deflate,deflate是区别于snappy,gzip的其他压缩格式。这种格式目前在Impala中还不支持,而Hive能支持,导...

6230

0627-如何跳过HiveServer2 WebUI的Kerberos验证

Fayson

在CDH集群启用Kerberos后,通过浏览器访问HiveServer2的Web UI时提示需要输入用户名和密码(即Kerberos账号进行认证)。在前面Fay...

7320

Windows环境下安装Hadoop+Hive的使用案例

小勇DW3

首先到官方下载官网的hadoop2.7.7,链接如下  https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/c...

9820

Spark SQL的Parquet那些事儿.docx

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Parquet是一种列式存储格式,很多种处理引擎都支持这种存储格式,也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件,并...

10130

从电影字幕到 Hive 工作原理解析

zhisheng

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。

9530

HBase和Hive的区别和各自适用的场景

王知无

先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。

9030

我在美团的这两年,想和你分享

石晓文

美团点评 · 算法实习生 (已认证)

2017.08.14,结束了两周的等待,如愿以偿开始了自己的美团实习生活,本来抱着三五个月走人,争取下一份实习的心态,没想到一直到转为暑期实习生、到通过留用面试...

10730

大数据技术之_19_Spark学习_03_Spark SQL 应用解析小结

黑泽君

  (3)Hive 的集成,Spark SQL 通过内嵌的 Hive 或者连接外部已经部署好的 Hive 实例,实现了对 Hive 语法的集成和操作。

7520

一个小知识点-Hive行转列实现Pivot

王知无

传统关系型数据库中,无论是Oracle(11g之后)还是SQLserver(2005之后),都自带了Pivot函数实现行转列功能,本文主要讲述在Hive中实现行...

5620

Spark SQL从入门到精通

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe。也就是说,从HQL被解析成抽象语法树(AST...

9920

来学习几个简单的Hive函数啦

用户1332428

咳咳,今天来介绍一下几个Hive函数吧,先放一张我登哥划水的照片,希望大家也做一只自由的鱼儿,在知识的海洋里游呀游,嘻嘻!

6230

0607-6.1.0-如何将ORC格式且使用了DATE类型的Hive表转为Parquet表

Fayson

在CDH中使用Hive时,为了统一数据文件的存储格式,推荐使用Parquet格式的文件存储,这样做也是为了能够同时能够兼容Impala的查询。有些用户在Hive...

7030

0608-6.1.0-如何将ORC格式且使用了DATE类型的Hive表转为Parquet表(续)

Fayson

在上一篇文章《6.1.0-如何将ORC格式且使用了DATE类型的Hive表转为Parquet表》中主要介绍了非分区表的转换方式,本篇文章Fayson主要针对分区...

7020

惊闻Facebook开源大数据引擎Presto团队正在分裂

用户1564362

这几天忙着出差,跨大洋的飞又在祖国到处飞。受时差和疲倦双重影响,完全不想更新公众号。但是看到Presto团队正在分裂这个大事件,还是顶着疲倦和时差更新一发。

4920

数据同步系统需要解决的问题

JouyPub

简书主页:https://www.jianshu.com/u/756c9c8ae984

10130

【Hive】FAILED: ParseException line 5:2 Failed to recognize predicate 'date'. Failed rule: 'identifier

黑泽君

该选项的目的是:是否启用对 SQL2011 保留关键字的支持。 启用后,将支持部分 SQL2011 保留关键字。

8030

0572-5.16.1-Hive中decimal类型字段.0结尾数据显示异常问题处理

Fayson

关于在CDH的中Hive的版本,C5的Hive版本为1.1.0,而在CDH 6.1.X 的Hive 版本为2.1.1。并且在Cloudera 的官网C6版本的发...

6420

0569-5.15.1-开启Sentry后LOAD DATA异常分析

Fayson

在开启了Sentry的CDH集群中,Hive或Impala的操作会受Sentry的管理,不同的操作需要不同的权限。例如,要在Hive中执行ALTER DATAB...

8630

扫码关注云+社区