前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >云测评 | Redis-pipeline对于性能的提升究竟有多大?

云测评 | Redis-pipeline对于性能的提升究竟有多大?

作者头像
腾讯云数据库 TencentDB
发布2019-05-16 15:02:14
4.3K0
发布2019-05-16 15:02:14
举报
文章被收录于专栏:腾讯云数据库(TencentDB)

点击上方蓝字每天学习数据库

首先来介绍一下今天的主角——Redis Pipelining。该功能是为了解决因为客户端和服务器的网络延迟造成的请求延迟。

Redis Pipelining在很早就出现了,如果你在用较早版本的Redis,那么也能使用这个功能。此功能可以将一系列请求连续发送到Server端,不必等待Server端的返回,而Server端会将请求放进一个有序的管道中,在执行完成后,会一次性将返回值再发送回来。

对于这么神奇的功能,我们怎么能不测一下pipeline对于性能的提升有多大呢?

一、pipeline有多神奇

测试方法:对redis分别用顺序写入和pipeline 的方法写入一个微秒级的时间戳,一共写1W个数据,去看这1W 条数据的执行时间。

测试结果:pipeline写入与顺序写入的所消耗的时间对比。

分析:pipeline和顺序写入最大的区别就是在于pipeline的打包发送数据,网络开销要小很多。在下面的测试中,values很小(20+Byte),而且网络开销也不算大(同乐访问坪山),访问命令也不重(set),但是执行的效率却是天差地别,顺序写入的执行时间是pipeline的16.8倍!而在现网环境下,随着网络开销的增大,values值的增大,重命令的增加,这个比例将变得更加恐怖。

1、pipeline写入10000个数据(values = 微秒+时间戳),共用时450ms

2、redis->set()顺序写入,(values = 微秒+时间戳),共用时:7.56s

二、对于pipeline读延时问题的优化

腾讯天天快报业务在使用Redis方面非常专业,在批量导入数据的时候就是使用了pipeline,使得数据能够快速的导入。但是在运营过程中我们发现,pipeline一次打包大量的写入的命令阻塞了同proxy的其他业务的读命令,使得其他业务的读命令延时升高。这个时候就不得不想办法优化这个问题。

首先贴出结论:

建议在pipeline写入的时候,参照“打小包,短sleep的”策略写入。这样能够避免pipeline写入时,由于阻塞造成的读延时问题。

测试开始:

 1、 vaule=1K  sleep=20ms pipeline_num=10000 get_qps=1500

get命令的平均延时在0.1ms,max到18ms,说明redis在pipeline程序sleep的着20ms中,快速的执行了堆积的get命令。如果把sleep值调小会是什么情况呢?

2、get/set 测试:vaule=1K  sleep=0ms pipeline_num=10000 get_qps=1500

在pipeline打包的时间内,get指令就已经执行完了,所以我们可以看到,set的平均延时很长,达到了9ms,已经影响到了写入,所以,我们要调小每次打包的数据量。

4、get/set 测试:vaule=1K  sleep=0ms pipeline_num=1000 get_qps=1500

当把每次的打包量调到1000个命令的时候,就可以明显的看出在写入性能上的优化,写入的平均时间从9ms下降到了0.8ms。

5、get/set 测试:vaule=1K  sleep=0ms pipeline_num=1000 get_qps=6000

为了测试的全面考虑,我们增大了读命令的qps,读命令和写命令都仅有一点点的延时升高,这个是可以接受的。

所以在使用pipeline的时候,参照“打小包,短sleep的”策略,是一个可以选择的方式。

三、测试总结

get set 命令

在get_qps = 6000的时候,pipeline一次打包1000个set命令,每个val大小1K,sleep=0 得到的读写速度都不错,在不算网络开销的情况下,get速度在0.1ms  ,set 速度在1ms。

往期推荐

《云Redis VS 自建Redis》

免费试用

包括云数据库MySQL在内的40+款热门云产品,实名认证的企业用户可免费试用!1000M内存50G数据盘的MySQL可免费体验30天,点击左下角“阅读原文”立即领取~

↓↓点“阅读原文”免费试用

好文和朋友一起看!

var first_sceen__time = (+new Date());if ("" == 1 && document.getElementById('js_content')) { document.getElementById('js_content').addEventListener("selectstart",function(e){ e.preventDefault(); }); } (function(){ if (navigator.userAgent.indexOf("WindowsWechat") != -1){ var link = document.createElement('link'); var head = document.getElementsByTagName('head')[0]; link.rel = 'stylesheet'; link.type = 'text/css'; link.href = "//res.wx.qq.com/mmbizwap/zh_CN/htmledition/style/page/appmsg_new/winwx45ba31.css"; head.appendChild(link); } })();

张松坡

赞赏

长按二维码向我转账

受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

阅读原文

阅读

分享 在看

已同步到看一看

取消 发送

我知道了

朋友会在“发现-看一看”看到你“在看”的内容

确定

已同步到看一看写下你的想法

最多200字,当前共字 发送

已发送

朋友将在看一看看到

确定

写下你的想法...

取消

发布到看一看

确定

最多200字,当前共字

发送中

微信扫一扫 关注该公众号

微信扫一扫 使用小程序

即将打开""小程序

取消 打开

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云数据库 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 朋友会在“发现-看一看”看到你“在看”的内容
  • 朋友将在看一看看到
  • 发布到看一看
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档