专栏首页码农编程进阶笔记详解redis 中Pipeline流水线机制

详解redis 中Pipeline流水线机制

一、pipeline出现的背景:

redis客户端执行一条命令分4个过程:

发送命令-〉命令排队-〉命令执行-〉返回结果

这个过程称为Round trip time(简称RTT, 往返时间),mget mset有效节约了RTT,但大部分命令(如hgetall,并没有mhgetall)不支持批量操作,需要消耗N次RTT ,这个时候需要pipeline来解决这个问题。

二、pepeline的性能

1、未使用pipeline执行N条命令

2、使用了pipeline执行N条命令

3、两者性能对比

小结:这是一组统计数据出来的数据,使用Pipeline执行速度比逐条执行要快,特别是客户端与服务端的网络延迟越大,性能体能越明显.

三、原生批命令(mset, mget)与Pipeline对比

1、原生批命令是原子性,pipeline是非原子性

(原子性概念:一个事务是一个不可分割的最小工作单位,要么都成功要么都失败。原子操作是指你的一个业务逻辑必须是不可拆分的. 处理一件事情要么都成功,要么都失败,原子不可拆分)

2、原生批命令一命令多个key, 但pipeline支持多命令(存在事务),非原子性

3、原生批命令是服务端实现,而pipeline需要服务端与客户端共同完成

四、Pipeline正确使用方式

在下面代码里,我用了一个用户名数组,数组元素的key值是用户对应的id,一旦用户修改了其用户名,我将修改两个redis值:

  • 当前用户其用户名修改次数需要+1
  • 更新当前用户对应的用户名数据
$redis = new Redis();

//开启管道模式,代表将操作命令暂时放在管道里
$pipe = $redis->multi(Redis::PIPELINE);

//循环遍历数据,执行操作
foreach ($users as $user_id => $username)
{
    //用户名修改次数+1
    $pipe->incr('changes:' . $user_id);

    // 更新用户名
    $pipe->set('user:' . $user_id . ':username', $username);
}

//开始执行管道里所有命令
$pipe->exec();

管道里放什么操作,并没有什么限制,即使你放获取数据的操作也是ok的。 现在就假设我们要给某个redis key值+1,但是获取另一个redis key值的value数据。 如下代码就是一个操作是更新某个用户被访问的次数,另一个操作则是获取用户信息数据。

$redis = new Redis();

//开启管道模式
$pipe = $redis->multi(Redis::PIPELINE);

//循环遍历数据,执行操作
foreach ($users as $user_id => $username)
{
    // 用户被访问的次数+1
    $pipe->incr('accessed:' . $user_id);

    // 获取用户数据记录
    $pipe->get('user:' . $user_id);
}
// 开始执行管道里所有命令
$users = $pipe->exec();

// 打印数据
print_r($users);

注意,由于管道里每一条命令都会返回数据,所以最终打印的数组,会含有incr操作带来的记录,还有从获取用户操作那里拉下来的redis key值作为了打印数组的索引值。

不过有个好处,管道里每个操作命令返回的数据是按照管道里顺序存储的,key值是0,1,2这种。我们想要啥数据,自己稍微处理一下就好啦。

如果我们像取消管道操作,用下面代码即可:

$pipe->discard();

总结:pipeline 虽然好用,但是每次pipeline 每次组装的命令个数不能没有节制,否则一次组装pipeline数据量过大,一方面会增加客户端的等待时间,另一方面会造成一定的网络阻塞,可以将一次包含大量命令的pipeline拆分成多次较小的pipeline来完成。

本文分享自微信公众号 - 码农编程进阶笔记(lxw1844912514),作者:点击关注????

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 初探 Redis 客户端 Lettuce:真香!

    一次技术讨论会上,大家说起 Redis 的 Java 客户端哪家强,我第一时间毫不犹豫地喊出 "Jedis, YES!"

    2020labs小助手
  • Redis:14---常用功能之(Pipeline)

    用户3479834
  • Redis学习三(进阶功能).

    redis 支持对 list,set 和 zset 元素的排序,排序的时间复杂度是 O(N+M*log(M))。(N 是集合大小,M 为返回元素的数量)

    JMCui
  • Redis常用技术-----流水线(Pipelined)

    在事务中Redis提供了队列,可以批量执行任务,这样性能就比较高,但使用multi...exec事务命令是有系统开销的,因为它会检测对应的锁和序列化命令。有时我...

    秃头哥编程
  • Jenkins流水线(pipeline)实战之:从部署到体验

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    程序员欣宸
  • Redis 面试题全解析

    作为最流行的数据库之一,在找工作的过程中,对于 Redis 技术知识的掌握已经成为必须的技能。

    CSDN技术头条
  • Redis 删除1.2亿指定前缀的key

    因为更换IDC的原因,我们需要迁移缓存到新的机房,开发同学提出老的缓存有1.2亿无效(未设置过期时间)的key和正常在用的业务key,在迁移之前可以先指定前缀将...

    用户1278550
  • 基于 Kubernetes 的 Spring Cloud 微服务 CI/CD 实践

    本文以 Pig 为例,介绍如何使用 KubeSphere 在 Kubernetes 上发布一个基于 Spring Cloud 微服务的 CI/CD 项目。

    CNCF
  • 芋道 Spring Boot Redis 入门(下)

    摘要: 原创出处 http://www.iocoder.cn/Spring-Boot/Redis/ 「芋道源码」欢迎转载,保留摘要,谢谢!

    芋道源码
  • redis 学习(11)-- redis pipeline

    所以可以看到,如果执行 n 次的话(比如 n 次 set 操作),时间开销是非常大的。

    希希里之海
  • Java高阶必备之Netty基础原理

    Netty是Java程序员通向高阶之路必须要过的门槛之一。干了几年的Java程序员发现业务开发似乎就是在SSH的世界里摸滚打爬的时候,会开始感到迷茫,难道程序员...

    老钱
  • 让Jenkins执行GitHub上的pipeline脚本

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    程序员欣宸
  • Redis-12Redis 流水线( pipeline )

    Redis 的事务的各类问题,在事务中 Redis 提供了队列, 这是一个可以批量执行任务的队列,这样性能就比较高,但是使用 multi…exec 事务命令是有...

    小小工匠
  • lettuce 在spring-data-redis包装后关于pipeline的坑,你知道吗?

    在日常开发过程中,如果想要构建一个高并发高吞吐量的系统,redis基本是成了标配。回想下现在比较常用的客户端也就是jedis、redission、lettuce...

    开发架构二三事
  • Kubernetes 原生 CI/CD 构建框架 Tekton 详解!

    流水线(Pipeline)是把一个重复的过程分解为若干个子过程,使每个子过程与其他子过程并行进行的技术。 本文主要介绍了诞生于云原生时代的流水线框架 Tekto...

    我是阳明
  • Java高阶必备之Netty基础原理

    Netty是Java程序员通向高阶之路必须要过的门槛之一。干了几年的Java程序员发现业务开发似乎就是在SSH的世界里摸滚打爬的时候,会开始感到迷茫,难道程序员...

    老钱
  • Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 Hadoop架构: 流

    该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览

    执生
  • Redis集群扩容

    在使用Redis搭建集群环境时,通常会根据业务的需求,要对集群进行扩容,以满足业务的需要。并且这也是分布式存储比较常见的需求,在Redis中对集群进行扩容主要分...

    吉林乌拉
  • 用Lua定制Redis命令

    前言 Redis作为一个非常成功的数据库,提供了非常丰富的数据类型和命令,使用这些,我们可以轻易而高效地完成很多缓存操作,可是总有一些比较特殊的问题或需求需要解...

    枕边书

扫码关注云+社区

领取腾讯云代金券