Hive篇---Hive使用优化

一.前述

本节主要描述Hive的优化使用,Hive的优化着重强调一个 把Hive SQL 当做Mapreduce程序去优化 二.主要优化点

1.Hive运行方式: 本地模式 集群模式 本地模式 开启本地模式: set hive.exec.mode.local.auto=true; 注意: hive.exec.mode.local.auto.inputbytes.max默认值为128M 表示加载文件的最大值,若大于该配置仍会以集群方式来运行! 对于小表可以直接从从hdfs直接拿到本地计算 2.并行计算 通过设置以下参数开启并行模式: set hive.exec.parallel=true; 注意:hive.exec.parallel.thread.number (一次SQL计算中允许并行执行的job个数的最大值)

3.严格模式 通过设置以下参数开启严格模式: set hive.mapred.mode=strict; (默认为:nonstrict非严格模式) 查询限制: 对于分区表,必须添加where对于分区字段的条件过滤; order by语句必须包含limit输出限制; 限制执行笛卡尔积的查询。

4.Hive排序(重要) Order By - 对于查询结果做全排序,只允许有一个reduce处理 (当数据量较大时,应慎用。严格模式下,必须结合limit来使用) Sort By - 对于单个reduce的数据进行排序(这样最后的数据有可能排序结果不准!!!!) Distribute By - 分区排序,经常和Sort By结合使用(SortBy对于最后的分区排序) Cluster By - 相当于 Sort By + Distribute By (Cluster By不能通过asc、desc的方式指定排序规则; 可通过 distribute by column sort by column asc|desc 的方式) !!!

5 Hive Join 优化

Join计算时,将小表(驱动表)放在join的左边 Map Join:在Map端完成Join 两种实现方式: 1、SQL方式,在SQL语句中添加MapJoin标记(mapjoin hint) 语法: SELECT  /*+ MAPJOIN(smallTable) */  smallTable.key,  bigTable.value FROM  smallTable  JOIN  bigTable  ON  smallTable.key  =  bigTable.key; 2、开启自动的MapJoin

自动的mapjoin 通过修改以下配置启用自动的mapjoin: set hive.auto.convert.join = true; (该参数为true时,Hive自动对左边的表统计量,如果是小表就加入内存,即对小表使用Map join)(默认左边的加载到内存中去) 相关配置参数: hive.mapjoin.smalltable.filesize;   (大表小表判断的阈值,如果表的大小小于该值则会被加载到内存中运行) hive.ignore.mapjoin.hint; (默认值:true;是否忽略mapjoin hint 即mapjoin标记) hive.auto.convert.join.noconditionaltask; (默认值:true;将普通的join转化为普通的mapjoin时,是否将多个mapjoin转化为一个mapjoin) hive.auto.convert.join.noconditionaltask.size; (将多个mapjoin转化为一个mapjoin时,其表的最大值) 6.Map-Side聚合(一般在聚合函数sum,count时使用) 通过设置以下参数开启在Map端的聚合: set hive.map.aggr=true; 相关配置参数: hive.groupby.mapaggr.checkinterval: map端group by执行聚合时处理的多少行数据(默认:100000) hive.map.aggr.hash.min.reduction: 进行聚合的最小比例(预先对100000条数据做聚合,若聚合之后的数据量/100000的值大于该配置0.5,则不会聚合) hive.map.aggr.hash.percentmemory: map端聚合使用的内存的最大值 hive.map.aggr.hash.force.flush.memory.threshold: map端做聚合操作是hash表的最大可用内容,大于该值则会触发flush hive.groupby.skewindata 是否对GroupBy产生的数据倾斜做优化,默认为false(自动优化解决思路如下): Map端两个MapReduce,第一个Mapreduce随机来分发数据。 然后另一个Mapreduce根据此Mapreduce的结果在到Reduce的机器上去拉取数据。

7.控制Hive中Map以及Reduce的数量 Map数量相关的参数 mapred.max.split.size 一个split的最大值,即每个map处理文件的最大值 mapred.min.split.size.per.node 一个节点上split的最小值 mapred.min.split.size.per.rack 一个机架上split的最小值 Reduce数量相关的参数 mapred.reduce.tasks 强制指定reduce任务的数量 hive.exec.reducers.bytes.per.reducer 每个reduce任务处理的数据量 hive.exec.reducers.max 每个任务最大的reduce数

PS:一般工作中肯定不会改!!!桶的个数是Reduce的个数。

8. Hive - JVM重用(类似于线程池) 适用场景: 1、小文件个数过多 2、task个数过多 通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置 (n为task插槽个数) 缺点:设置开启之后,task插槽会一直占用资源,不论是否有task运行,直到所有的task即整个job全部执行完成时,才会释放所有的task插槽资源!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏积累沉淀

Shuffle过程详解

Shuffle过程是MapReduce的核心,最近看了很多资料,网上说法大体相同,但有些地方有一点点出入,就是各个阶段的执行顺序 总个shuffle过程可以看做...

2219
来自专栏潇涧技术专栏

Head First Android Testing 1

最近想写一个自己的库项目,以后开发都基于这个库项目来开发,于是乎,为了保证库项目中的代码功能没有问题,简单学了一些Android测试的内容,对于没有搞过测试的我...

822
来自专栏静默虚空的博客

[设计模式]单例模式

简介 单例模式(Singleton Pattern)保证一个类只有一个实例,并提供一个访问它的全局访问点。 单例模式是一种对象创建型模式 (可参考 设计模式 ...

1989
来自专栏orientlu

FreeRTOS 任务调度 任务创建

FreeRTOS 的任务调度在 Source/include/task.c 中实现,包含了任务的创建、切换、挂起、延时和删除等所有功能。涉及到的链表组织见文章 ...

2314
来自专栏数据库

JPA之使用JPQL语句进行增删改查

JPA支持两种表达查询的方法来检索实体和来自数据库的其他持久化数据:查询语句(Java Persistence Query Language,JPQL)和条件A...

2266
来自专栏大内老A

ASP.NET MVC Model元数据及其定制:一个重要的接口IMetadataAware

在介绍用于自定义Model元数据属性的AdditionalMetadataAttribute特性时我们提到了它实现的接口IMedataAware,我们说这是一个...

2076
来自专栏GreenLeaves

存储过程详解

存储过程简介 什么是存储过程:存储过程可以说是一个记录集吧,它是由一些T-SQL语句组成的代码块,这些T-SQL语句代码像一个方法一样实现一些功能(对单表或多表...

20810
来自专栏杂烩

MongoDB Java环境下的开发 原

        在项目下建立一个lib文件夹,将下载的驱动包放到lib下并build到path下:

962
来自专栏爱撒谎的男孩

用户管理模块之用户注册

4105
来自专栏大数据

Zzreal的大数据笔记-SparkDay04

Spark SQL SparkSQL的前身是Shark,它抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columna...

1989

扫码关注云+社区