HBase2.0 vs HBase1.x 延时比较

hbase2.0已经正式发布,对比之前1.x版本,2.0在读写链路上做了完善的优化,offheap、netty rpc等,这里做个小测试实验对比1.x和2.0在读写上的延时情况。本测试基于特定测试环境与软件版本得到的结果,仅供参考。

测试介绍

1 测试环境

HBase2.0集群,2副本DataNode,单regionserver,便于线性扩展;

集群的配置 : 8core x 16G 内存; 4 x 250G ssd云盘;

2 情况简介

读写,1KB,数据,分有cache的读(命中近100%),无cache读;

scan:无cache的scan,有cache 的scan ;预先分配60 region;

3 测试数据

单条读写的延时,99延时,磁盘的util,cpu的利用率,网卡占用率,gc的时间; 对于99延时的话,查看gc的频率,进行调整。大块数据的直接升到年老代等;

步骤:先是把没有做调优的性能数据丢出来,完成以后,在就99延时做调优,主要关注网络以及gc的信息;

4 测试结果

调优的涉及:offheap,netty server访问,g1 gc 修改。

99延时:offheap,g1 gc 默认开启,默认netty 开启;25MB 带宽峰值,主要做对比!

测试小结

hbase2.0在读写链路上进行了完善的优化,相比1.1、1.4.4 版本,在延时方面有了比较大的成果。本测试基于特定测试环境与软件版本得到的结果,仅供参考。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2018-05-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Android群英传

Xposed加载JNI库

1611
来自专栏后端云

Openstack两个容易混淆的概念

az是在region范围内的再次切分,只是工程上的独立,例如可以把一个机架上的机器划分在一个az中,划分az是为了提高容灾性和提供廉价的隔离服务。选择不同的re...

2594
来自专栏java思维导图

缓存的正确使用方式,你都会了吗?

首先,缓存由于其适应高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。

1301
来自专栏北京马哥教育

让你的Git水平更上一层楼的10个小贴士

最近,我们发表了关于Git基础知识和在团队中使用Git的教程。我们之前讨论的那些命令,已经足够让帮助一个开发者在Git世界里生存了。本篇文章,我们将尝试探索如何...

3125
来自专栏小巫技术博客

App更新策略课程-实现通知栏进度更新

1073
来自专栏微信公众号:Java团长

分布式之数据库和缓存双写一致性方案解析

首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。

1142
来自专栏owent

对象路由系统设计

现在的手游也开始越来越复杂,以前少量交互线上保存的服务器架构越来越不能满足现在越来越偏向PC端MMORPG的需求。比如现在手游也引入了地图服务、公会服务等等。特...

931
来自专栏黑泽君的专栏

linux命令 uname -r 和 uname -a 的解释与演示

1、uname -r : 显示操作系统的发行版号 2、uname -a :显示系统名、节点名称、操作系统的发行版号、内核版本等等。

2621
来自专栏流柯技术学院

【LoadRunner】OSGI性能测试实例

Ø  确定测试登录最大并发用户数; Ø  事务平均响应时间 (两个查询) 得到这个任务 如何展开测试工作呢? 一、WindowsResources 设置(其...

1272
来自专栏云飞学编程

喜欢用Python做爬虫吗?进度条了解下?自制一个进度条模块!

我们在做Python爬虫脚本的时候,往往希望在运行的过程中可以实时查看到我的下载进度!之前我也一直想实现这个功能(绝对不是为了炫(装)耀(*)),也查看了很多博...

1891

扫码关注云+社区

领取腾讯云代金券