专栏首页物流IT圈性能竟然再提升一倍!Redis的一个实例有多快?

性能竟然再提升一倍!Redis的一个实例有多快?

Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说Redis可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。 在本文中,我们将讨论如何制作一个几乎使Redis性能提高一倍的模块! EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属于“Linux内核空间”; 另一方面,我们在应用程序中运行称为“用户空间”的应用程序,所以问题变成是没有办法绕过内核? 英特尔开发出了数据平面开发套件(DPDK),提供驱动程序和库以加速数据包处理工作量。绕过内核的想法允许在用户空间处理数据流,而Linux处理控制流。 将这个想法付诸实践,并使用EQ Alpha刚刚发布的模块进行测试。该模块允许Redis在用户空间中与NIC进行交互,绕过内核。这使得正常的Redis独立实例从164,000 ops / sec变为超过300,000 ops / sec,Redis 5.0实例的延迟减少约1.8倍。下图显示了每秒操作数与数据大小。测试使用最新版本的Redis(5.0)进行,并添加了Accelerator模块:

在单个机器实例上可以看到最大的收益(不在同一服务器上运行节点集群 - 尽管这里仍然可以看到一些增益)。在同一服务器上或作为计算机集群的一部分运行主/副本也有很大的收益。如果服务器受CPU限制,则增益可能不高。建议使用具有4个或更多内核的计算机 通过在用户空间内操作,这些都是可观的收益。使用此模块可以在此环境中使用Redis实例,而无需修改基本代码。Redis将在Unix套接字上运行,从而使dpdk的性能更快。使用环境抽象层(EAL)以及其他堆栈组件,该模块能够轮询和解释数据,而无需中断处理的开销。它能够在自己的框架内运行,并允许您继续使用Redis的生产版本或该注释上的任何其他版本的Redis(包括不稳定版本和新版本)。 这个概念很有意思,它充满了对内部发生的好奇心。那么在没有这些限制的情况下运行Redis实例会是什么样子?下面是两个Flamegraph,可以帮助提供配置软件的可视化。它们是在使用模块运行Redis时生成的,并且运行它时没有: 下面是在未修改的Redis上执行常规基准测试时生成的火焰图。

下面是在基准测试期间生成的火焰图,其中Accelerator模块在后台运行:

希望本文有助于展示您的Redis实例可以解锁的潜力。EQ Alpha与此模块和KeyDB项目的目标之一是帮助驱动选项,以实现更大,更强大的实例,从而通过能够处理更多负载来最小化分片和群集的需求。该模块采用独立模块形式,非常有用,因为无论Redis基本代码的下一步版本和未来版本如何,它都可能提供性能提升。

本文分享自微信公众号 - 物流IT圈(exiter18)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用Redis实现高流量的限速器

    Redis是生产环境中默默无闻的主力配置。它不常用作主要的数据存储,但它可存储和访问临时数据(度量,会话状态,缓存等损失可以容忍的数据)方面有一个...

    物流IT圈
  • 一份架构师知识清单

    IT行业的人经常觉得压力很大,必须不断学习才能够赶上时代的节奏。但是“学习”这个概念太空泛了,即便真的花时间学习,要学什么,怎么学,许多人也是一头雾水,只能干着...

    物流IT圈
  • 从单体式应用到微服务的低风险演变(下)

    接下来的这步,跳过了耦合、领域驱动设计等细节,我们引入了一项新的服务:Orders服务。在这项关键服务里,业务部分希望比其它应用程序变更的频度更高,但同时它的编...

    物流IT圈
  • 同程凤凰缓存系统基于Redis的设计与实践

    2012~2014年,我们的业务开始使用一种新的互联网销售模式——秒杀抢购,一时间,各个产品线开始纷纷加入进来,今天秒杀门票,明天秒杀酒店,等等。各种活动是轮番...

    程序员小王
  • 使用Redis走进误区,该怎么办?

    首先是一个产品线开发人员搭建起了一套庞大的价格存储系统,底层是关系型数据库,只用来处理一些事务性的操作和存放一些基础数据; 在关系型数据库的上面还有一套Mong...

    企鹅号小编
  • Redis是什么?看这一篇就够了

    在Web应用发展的初期,那时关系型数据库受到了较为广泛的关注和应用,原因是因为那时候Web站点基本上访问和并发不高、交互也较少。而在后来,随着访问量的提升,使用...

    葡萄城控件
  • 面试还搞不懂redis,快看看这40道面试题(含答案和思维导图)

    34、一个 Redis 实例最多能存放多少的 keys?List、Set、Sorted Set他们最多能存放多少元素?

    程序员追风
  • MySQL百万级数据高效导入Redis

    随着系统的运行,数据量变得越来越大,单纯的将数据存储在MySQL中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Red...

    用户1148526
  • 芋道 Spring Boot Redis 入门(下)

    摘要: 原创出处 http://www.iocoder.cn/Spring-Boot/Redis/ 「芋道源码」欢迎转载,保留摘要,谢谢!

    芋道源码
  • Redis ,真的不完美

    显而易见,如今的 Redis 已经进入了成熟期,但依旧存在很多疑难杂症。数以千计的开发者都在开发和使用这个数据库,它拥有非常完善的文档。

    CSDN技术头条

作者介绍

精选专题

活动推荐

扫码关注云+社区

领取腾讯云代金券