腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

皮振伟的专栏

专栏作者

108

文章

296029

阅读量

78

订阅数

[linux][redis]redis支持disable-thp了

云数据库 Redis https github 网络安全 git

前言前文《[linux][redis]bgsave引起的latency突刺问题分析》中记录了在执行bgsave的时候，因为fork子进程之后，会出现page fault导致了redis的延迟受到了影响。前文《[THP][redis]THP对redis的影响》中分析了THP（transparent hugepage）对redis的延迟突刺的影响。大约两年半以前，作者给redis提了PR(https://github.com/redis/redis/pull/5124)，但是maintainer并没有回复，一段时间后关闭。几个月前，第二次提PR（https://github.com/redis/redis/pull/7381）希望解决这个问题，新任的maintainer Oran对THP问题比较感兴趣，同时也把三年多以前的另外一个PR（https://github.com/redis/redis/pull/4001）翻了出来。大约经过一周的讨论和修改，两个PR都已经合入了upstream。分析 THP的内核逻辑内核提供了THP开关可以控制，/sys/kernel/mm/transparent_hugepage/enabled，这个开关需要root权限，且是系统级别的影响。 always表示所有的进程都会被khugepaged扫描，尝试使用2M的透明大页。 madvise表示如果有进程调用了THP开关，则打开/关闭。 never表示khugepaged不会对任何进程生效，包括使用madvise的进程。 warning判断 redis的原有的逻辑是在启动阶段检查系统的THP配置，如果不是never，就会产生一个warning。redis自身并没有使用过madvise进行THP操作，即使使用了jemalloc，也不会对主要的内存进行THP操作。所以改成不是always就应该是安全的，所以，Oran接受了这个改动（https://github.com/redis/redis/pull/4001）。关闭redis的进程THP 更加理想的做法是不管系统配置如何，redis都可以把自己进程的THP开关禁用掉，这样子不需要root权限控制，且不会影响其他的进程。Linux恰好提供了这样了一个syscall，所以在（https://github.com/redis/redis/pull/7381）中，会关闭掉。同时，根据Oran的意见，增加了配置项，在多数情况下，默认都是会自动关闭掉THP，除非用户强制指定了不关闭的配置。这样下来，在大多数情况下，用户都可以避免THP引起的fork之后的剧烈抖动问题。关于conf的描述在redis.conf中增加了一个新的配置项“disable-thp”，作者最初的描述是

2020-11-09

1.8K0

[linux][tcp]tcprtt在server端监控多个client延迟

https github 网络安全 git 开源

前言前文《[linux][tcp]使用tcprtt排查网络延迟问题》介绍了tcprtt的基本用法，可以监控特定的连接的TCP的rtt情况。后来，Branden Gregg大神上阵，也提出了一些改进意见。分析 Branden Gregg的意见讨论链接 https://github.com/iovisor/bcc/pull/3068

2020-10-27

9250

[linux][redis]redis对cpu亲和性的支持

云数据库 Redis http https github 网络安全

前言 redis在最近的版本中，开始了对多线程的支持。加上之前对多进程的支持，模型的复杂度也比过去复杂了不少。 redis本身又是一个对性能、延迟非常敏感的业务，多种因素都可能导致小问题。基于上述原因，作者对redis做了CPU亲和性的系统支持，并合入了upstream。分析代码 Redis 6.0.2版本中开始支持 https://github.com/antirez/redis/commit/ae306a3df6cf63b31a0814cb5393a9df59947d2e

2020-05-26

1.5K0

[gcc][glibc]va_start嵌套导致的问题

gcc linux https github 网络安全

使用tgt-1.0.75创建好target之后，在initiator端执行login操作大约卡3s～5s左右。同时观察tgt，CPU消耗到达100%。

2019-05-06

1.5K0

[linux][system] gettimeofday的几种实现方法

kernel https 网络安全

前言：有同事讨论到gettimeofday的性能问题。想起来大约四五年前，在linux-2.6.x上的时候，用一种很极端的方法实现过time函数。下面就简单分析一下几种gettimeofday的实现。当然，实现方法是包括但不限于以下。分析： 1,int 0x80 在早期阶段，x86上的syscall通过int 0x80实现的。IRQ可以让CPU中断当前的处理，陷入到Ring0中，当触发的IRQ号是0x80的时候，就进入到了对应的handler里面处理。处理完成后，返回Ring3,用户态进程拿到结果。目前的主流的x86,已经放弃这种使用方式了。因为成本比较高。 2,syscall intel后来提供了新的指令syscall，SDM介绍如下：

2019-03-07

2.6K0

[usb][tcp]usbredir的优化---TCP keepalive

https 网络安全

前言：前文《[kvm][qemu]影响虚拟化热迁移的设备》中提到了usbredir技术，也顺便提到了对它的TCP keepalive的优化。本文分析usbredir的实现，以及这个优化的作用。

2018-04-09

1.7K0

[linux][statethread]协程库ST技术分析

linux 编程算法 https

前言：在IO密集型的场景下，尤其是互联网后台，经常会使用epoll等IO复用技术。鉴于直接使用epoll的代码阅读性和开发效率等原因，就抽象出来了各种高级模型。既然多次提到过协程，那就选择statethread做一下技术分析吧。基本原理： 1，用户态的IO复用机制支持：select/epoll（这里只针对Linux，其他OS不讨论）。 2，用户态的subroutine切换机制：使用setjmp/longjmp来切换context。 3，O（logn）的高效排序算法：st使用heap排序。代码

2018-04-09

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态