HAWQ技术解析(十八) —— 问题排查

(原文地址:http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/troubleshooting/Troubleshooting.html

        本章描述如何解决HAWQ系统中常见的错误和问题。

一、查询性能问题

问题:查询慢。

原因:一个查询执行缓慢可能有多个原因。例如,数据分布的位置,虚拟段的数量,查询使用的主机数量等都可能影响查询性能。以下过程描述如何排查查询性能问题。

        一个查询不像预期执行的那么快。以下是如何调查慢的可能原因。

  1. 检查集群健康状况:(1)是否有DataNode、segment或其它节点宕机?(2)是否有很多失效磁盘?
  2. 检查表统计。查询中的表是否已经分析过?
  3. 检查查询计划并运行EXPLAIN ANALYZE确定瓶颈。有时,对某些操作没有足够的内存,比如Hash Join,或使用了溢出文件。如果一个操作不能全部在分配给它的内存中执行,它将数据缓存到磁盘上的溢出文件中。相对于不使用溢出文件,查询会慢得多。
  4. 使用EXPLAIN ANALYZE检查数据本地化统计。或者检查日志文件。每个查询的数据本地化情况也可在HAWQ日志中找到。统计信息参见Data Locality Statistics
  5. 检查资源队列状态。你可以查询pg_resqueue_status视图,检查目标队列是否已经为查询分派了资源,或者目标队列缺少资源。参见Checking Existing Resource Queues
  6. 分析资源管理器状态的转储,查看更多资源队列状态。参见Analyzing Resource Manager Status

二、拒绝查询资源请求

问题:HAWQ资源管理器拒绝了查询的资源分配请求。

原因:出现以下情况时,HAWQ资源管理器拒绝查询的资源分配请求:

  • 太多物理段不可用。 HAWQ资源管理器期望$GPHOME/etc/slaves文件中列出的物理段均已注册,并可以从gp_segment_configuration表查询到。如果资源管理器确定未注册的或不可用的HAWQ物理段数量大于hawq_rm_rejectrequest_nseg_limit,那么资源管理器直接拒绝查询的资源请求。拒绝查询的目的是要保证查询运行在完整的集群中。这让查询性能问题的诊断更容易。hawq_rm_rejectrequest_nseg_limit的缺省值为0.25,就是说如果发现不可用或未注册的数量大于0.25 * $GPHOME/etc/slaves文件中所列的段数,资源管理器拒绝查询的资源请求。例如,如果slaves文件中有15个段,资源管理器计算不可用的段不能超过4(0.25 * 15)。大多数情况下,你不需要修改该此缺省值。
  • 为查询分配虚拟段的物理段中有未使用的。 超过了hawq_rm_tolerate_nseg_limit中定义的限制。
  • 物理段之间分派的虚拟段太不均匀。 为保证最佳查询性能,HAWQ资源管理器试图尽可能均匀地在物理段间为查询分配虚拟段。但是可能存在分配偏差。当偏差大于hawq_rm_nvseg_variance_amon_seg_limit设置的值,HAWQ拒绝查询的资源分配请求。例如,一个查询引起2个物理段分派9个虚拟段。假设一个段分配7个虚拟段,另一个分配2个虚拟段。段间偏差是5。如果hawq_rm_nvseg_variance_amon_seg_limit的设置为缺省值1,那么为此查询的资源分配被拒绝,并将在以后分配。但如果一个物理段分配5个虚拟段,另一个物理段是4个,则接收此资源分配。

解决方案:检查集群中节点的状态。如果有必要,重启或新增节点。修改hawq_rm_nvseg_variance_amon_seg_limit(尽管这会影响查询性能)。

三、VMEM使用超高引起的查询取消

问题:使用太多虚拟内存的特定查询被取消。实例错误消息:

ERROR: Canceling query because of high VMEM usage. Used: 1748MB, available 480MB, red zone: 9216MB (runaway_cleaner.c:135) (seg74 bcn-w3:5532 pid=33619) (dispatcher.c:1681)

原因:当一个段上虚拟内存的使用超过了由runaway_detector_activation_percent配置的虚拟内存百分比阈值,就会发生此错误。

        如果一个物理段使用的虚拟内存总量超过计算阈值,HAWQ开始基于内存使用终止查询,从消耗最大内存量的查询开始。直到虚拟内存使用低于指定的百分比才停止对查询的终止。

解决方案:临时加大hawq_re_memory_overcommit_max的值,允许特性查询无误运行。

        检查pg_log文件,得到会话和QE进程使用内存的更多细节。HAWQ记录查询终止信息,如内存分配历史、上下文信息,以及查询计划操作符的内存使用信息。这些信息被发送到master和segment实例的日志文件中。

四、segment没在gp_segment_configuration中出现

问题:段启动成功,但没有出现在gp_segment_configuration表中。

原因:你的段可能分配了相同的IP地址。

        有些软件和项目具有使用自动配置IP地址的虚拟网卡。这可能引起HAWQ的段获得相同的IP地址。资源管理器的容错服务组件只能识别具有相同IP地址的段中的一个。

解决方案:启动HAWQ集群前,修改网络配置,禁止IP地址相同。

五、调查标记为Down的segment

问题:HAWQ容错服务(fault tolerance service,FTS)在gp_segment_configuration目录表中标记一个段为down。

原因:当段碰到严重错误时,FTS标记该段为down。例如,因为硬件问题导致段上的临时目录失效。其它原因可能包括网络或通信错误、资源管理器错误,或简单的心跳超时等。段通过心跳报告向主节点报告一个严重故障。

解决方案:依赖于不同的原因,需要存取不同的恢复操作。有些情况下,段仅仅是被临时标记为down,直到心跳周期再次检查段的状态。为了调查段被标记为down的原因,从gp_configuration_history目录表查找对应的原因。容错服务将段标记为down的各种原因,参见Viewing the Current Status of a Segment的描述。

六、处理segment资源碎片

        不同HAWQ资源队列的虚拟段资源限额可以不同,由此可能导致资源碎片。例如,一个HAWQ集群有4GB内存可用于当前排队的查询,但是资源队列被配置为在4个不同的段上分裂成四个512MB的内存块。它不可能分配两个1GB内存的虚拟段。

        在独立资源模式中,所有段资源为HAWQ所独占。当段的配额不是虚拟段资源限额的倍数时,就可能出现资源碎片。例如,一个段有15GB的内存配额,但是虚拟段资源限额设置成2GB。一个段最多可以消耗14GB内存。因此,你应该配置段的资源配额为所有虚拟段资源限额的倍数。

        YARN模式里,资源从YARN资源管理器分配。HAWQ资源管理器通过一个vcore获得一个YARN容器。例如,如果YARN报告一个段为YARN应用配置了64GB内存和16个vcore,HAWQ通过4GB内存和1个vcore请求YARN容器。照此方法,HAWQ资源管理器按需获取YARN容器。如果YARN容器的配额不是虚拟段资源限额的倍数,可能发生资源碎片。例如,YARN容器的资源配额为3GB内存和1个vcore,每个段可以有1个或3个YARN容器用于HAWQ执行查询。在这种情况下,如果虚拟段的资源限额为2GB内存,那么HAWQ总有1GB内存不能利用。因此,推荐仔细配置YARN模式的资源配额,使YARN容器资源限额是所有虚拟段资源限额的倍数。另外,确认你的CPU、内存比率是yarn.scheduler.minimum-allocation-mb配置的倍数。更多信息参见Setting HAWQ Segment Resource Capacity in YARN

        如果出现资源碎片,排队的请求不被处理,直到一些运行的查询返还资源,或者全局资源管理器提供了更多的资源。如果你碰到资源碎片,你应该检查资源队列设置的配额,找到为任何错误的配置。例如,可能的一个错误是,全局资源容器的内存核数比率,不是虚拟段资源限额的倍数。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程

DNS 负载均衡:如何提升网站性能

如果你想提高你的网站或Web应用程序的访问速度,DNS负载均衡或许可以帮助你实现这一目标。通过帮助你分散收到的流量,有助于使网站以最佳的速度运行。 ? 什么是D...

1986
来自专栏SDNLAB

浅谈VPC二三,秒懂秒透

VPC全称是Virtual Private Cloud,翻译成中文是虚拟私有云。但是在有些场合也被翻译成私有网络或者专有网络等。这里其实就有些让人迷惑,VPC究...

3766
来自专栏Java编程技术

分布式事务- 三阶段协议

前面我们介绍了为解决分布式事务而提出来的的二阶段协议,本文首先来讲解二阶段的不足,然后阐述三阶段协议,三阶段协议也是一个标准的协议,也并没有说具体如何实现。

582
来自专栏JavaQ

分布式事务入门篇

本地事务 本地事务,即单体应用中单个线程内对一个数据库的事务提交。例如充值操作,充值成功后订单表状态更新为成功,账户表加钱,对应的数据库更新操作如下。 begi...

3606
来自专栏cloudskyme

云计算的体系结构

云计算的体系结构由5部分组成,分别为应用层,平台层,资源层,用户访问层和管理层,云计算的本质是通过网络提供服务,所以其体系结构以服务为核心。 如下图: ? 1,...

97811
来自专栏Golang语言社区

游戏服务器压力测试总结

游戏服务器压力测试总结 从游戏内测开始到现在做了所有服务器压力相关的测试.现在进行总结.暂时还不方便说游戏架构,所以不上图了。 一.首先明确需要测试压力的内...

1423
来自专栏云计算认知升级

【腾讯云的1001种玩法】十分钟轻松搞定云架构 之四:替你分心的负载均衡

本文主要讲以下几个方面:负载均衡如何帮我们分心 、自建负载均衡和云端负载均衡的优劣之分 、腾讯云负载均衡的优势、腾讯云负载均衡的使用。

3839
来自专栏美团技术团队

美团容器平台架构及容器技术实践

美团的容器集群管理平台叫做HULK。漫威动画里的HULK在发怒时会变成“绿巨人”,它的这个特性和容器的“弹性伸缩”很像,所以我们给这个平台起名为HULK。貌似有...

865
来自专栏smartguys

(三):C++分布式实时应用框架——系统管理模块

版权声明:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等行为保留法律追究的权利!

1272
来自专栏数据和云

DBLINK分布式事务失败又遭遇RAC热点块争用

编辑手记:在DBLINK中由于远端数据库无法正常执行分布式事务,又遭遇RAC热块争用,两者共同作用导致数据库严重故障。接下来我们从AWR报告分析入手,一步步分析...

2845

扫码关注云+社区