前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >RegionServer RPC队列请求数较大

RegionServer RPC队列请求数较大

原创
作者头像
用户9559193
发布2022-09-01 10:55:36
5050
发布2022-09-01 10:55:36
举报

问题描述及原因:HBase RegionServer RPC队列请求数较大

可能影响:

  • 客户端读写变慢或者超时

处理建议:

在EMR控制台进入“集群监控”,点击“DashBoard”,点击 “集群服务” --> HBASE --> 角色管理 -->RegionServer

点击进入,设置指标里选中RPC队列请求数,如下图所示,若只有部分Queue被打满,建议增加改队列的线程数。具体配置规则如下:

hbase get、put、scan到服务端后默认是用一个线程池来处理这些请求。

线程池的配置是:

代码语言:javascript
复制
hbase.regionserver.handler.count
默认是128

若集群有比较大的scan时,建议将put、get和scan的线程池拆开,在hbase-site.xml中添加以下配置项,并滚动重启rs

代码语言:javascript
复制
hbase.ipc.server.callqueue.read.ratio   取值范围0.0-1.0,假设配置为0.75
hbase.ipc.server.callqueue.scan.ratio   取值范围0.0-1.0,假设为配置0.25

按以上假设配置,则 处理put请求的线程个数是 128 x(1 - 0.75) = 32 处理get请求的线程个数是 128 x 0.75 x(1 - 0.25) = 72 处理 scan请求的线程个数是 128 x 0.75 x 0.25 = 24

其中128就是上文配置的总线程数。scan的比例是在read的基础上。

replicationQueue配置:hbase.replication.source.maxthreads 默认是10

PriorityQurue配置:hbase.regionserver.metahandler.count 默认20

replicationQueue、PriorityQurue正常很慢打满。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 可能影响:
  • 处理建议:
相关产品与服务
TDSQL MySQL 版
TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档