前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Redis pipeline(12)原

Redis pipeline(12)原

作者头像
兜兜毛毛
发布2020-04-23 17:14:07
8780
发布2020-04-23 17:14:07
举报
文章被收录于专栏:兜兜毛毛兜兜毛毛

常规的连接客户端一般有3种请求方式:

  1. Client
  2. Pipeline
  3. 事务
三中模式的区别

Client模式:就是客户端发送一个命令,阻塞等待服务端执行,然后读取返回结果。

Pipeline模式:是一次性发送多个命令,最后一次取回所有的返回结果,这种模式通过减少网络的往返时间和io读写次数,大幅度提高通信性能。

事务模式:Transaction模式即开启Redis的事务管理,事务模式开启后,所有的命令(除了exec,discard,multi和watch)到达服务端以后不会立即执行,会进入一个等待队列。

什么时候Pipeline?

Redis客户端与Redis服务器之间使用TCP协议进行连接,一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务器处理,redis处理完请求命令后会将结果通过响应报文返回给client,因此当执行多条命令的时候都需要等待上一条命令执行完毕才能执行。执行过程如图:

由于通信会有网络延迟,假如client和server之间的包传输时间需要10毫秒,一次交互就是20毫秒(RTT:RoundTripTime)。这样的话,client1秒钟也只能也只能发送50个命令。这显然没有充分利用Redis的处理能力。另外一个,Redis服务端执行I/O的次数过多。

Pipeline管道

那我们能不能像数据库的batch操作一样,把一组命令组装在一起发送给Redis服务端执行,然后一次性获得返回结果呢?这个就是Pipeline的作用。Pipeline通过一个队列把所有的命令缓存起来,然后把多个命令在一次连接中发送给服务器。

要实现Pipeline,既要服务端的支持,也要客户端的支持。对于服务端来说,需要能够处理客户端通过一个TCP连接发来的多个命令,并且逐个地执行命令一起返回。对于客户端来说,要把多个命令缓存起来,达到一定的条件就发送出去,最后才处理Redis的应答(这里也要注意对客户端内存的消耗)。

在Jedis客户端中jedis-pipeline的client-buffer限制:8192bytes,客户端堆积的命令超过8192bytes时,会发送给服务端。

源码:redis.clients.util.RedisOutputStream.java

代码语言:javascript
复制
public RedisOutputStream(final OutputStream out){
  this(out,8192);
}

pipeline对于命令条数没有限制,但是命令可能会受限于TCP包大小。

如果Jedis发送了一组命令,而发送请求还没有结束,Redis响应的结果会放在接收缓冲区。如果接收缓冲区满了,jedis会通知rediswin=0,此时redis不会再发送结果给jedis端,转而把响应结果保存在Redis服务端的输出缓冲区中。

输出缓冲区的配置:redis.conf

代码语言:javascript
复制
client-output-buffer-limit <class> <hardlimit> <softlimit> <softseconds>

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

配置

作用

class

客户端类型,分为三种。a)normal:普通客户端;b)slave:slave客户端,用于复制;c)pubsub:发布订阅客户端

hardlimit

如果客户端使用的输出缓冲区大于<hardlimit>,客户端会被立即关闭,0代表不限制

soft limit \ soft seconds

如果客户端使用的输出缓冲区超过了<softlimit>并且持续了<softlimit>秒,客户端会被立即关闭

每个客户端使用的输出缓冲区的大小可以用clientlist命令查看

Pipeline适用于什么场景呢?

如果某些操作需要马上得到Redis操作是否成功的结果,这种场景就不适合。

有些场景,例如批量写入数据,对于结果的实时性和成功性要求不高,就可以用Pipeline。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 三中模式的区别
  • 什么时候Pipeline?
  • Pipeline管道
  • Pipeline适用于什么场景呢?
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档