专栏首页运维一切ceph-osd pagecache使用限制问题
原创

ceph-osd pagecache使用限制问题

### 问题

ceph-osd上发现内存使用很严重,特别是cache的使用,巨大的内存使用如果不及时释放,加上swap很小,在遇到大文件读写时就会引发kernel oom,进而core文件写满所有根分区

[root@xx00 /root]# free -mw
             total        used        free      shared     buffers       cache   available
Mem:   64047       13843         214        1385          56       49933       48095
Swap:  2039        1941          98

研究了一圈总结一下buffer肯定没问题,这个是块设备缓存,看大小也正常,cache用的太大,外面说cache由三部分组成,pagecache+inode cache+directory cache组成。

我使用如下的命令做了一个测试

echo 1 > /proc/sys/vm/drop_caches

只释放了pagecache,发现大量的空间被释放

image.png

这就很明显,只是pagecache占用的很多的内存。

文件的操作无非读写

cat /proc/meminfo
...
Dirty:              1796 kB
...

dirty使用量很小,所以我判断,pagecache巨大无比只是大量的读操作引发的。

### 可调节的参数

  • 手动强制释放echo 1 > /proc/sys/vm/drop_cachesvm.pagecache_limit_async = 0 vm.pagecache_limit_ignore_dirty = 1 vm.pagecache_limit_ratio = 0 vm.pagecache_limit_reclaim_ratio = 0可以通过vm.pagecache_limit_ratio和vm.pagecache_limit_reclaim_ratio来进行限制sysctl -w vm.pagecache="40" echo vm.min_free_kbytes=1024 >> /etc/sysctl.conf当然,如果是其他情况,比如是写文件导致的cache使用过大,可以调节下面几个参数4.2 dirty_expire_centisecs cat /proc/sys/vm/dirty_expire_centicecs查看这个值,默认是3000(单位是1/100秒)。这个值表示page cache中的数据多久之后被标记为脏数据。只有标记为脏的数据在下一个周期到来时pdflush才会刷入到磁盘,这样就意味着用户写的数据在30秒之后才有可能被刷入磁盘,在这期间断电都是会丢数据的。如果想pdfflush刷新频率大写可以减小这个值,比如:echo 1000 >> /proc/sys/vm/dirty_expire_centicecs 设置为10s一个刷新周期。 4.3 dirty_backgroud_ratio cat /proc/sys/vm/dirty_backgroud_ratio查看这个值,默认是10(单位是百分比,不同的内核版本可能有不同的默认值)。很多的描述文档中描述这个值表示最多缓存脏数据的空间占总内存的百分比。其实不然,查看源码的描述,它的真实意义是占(MemFree + Cached - Mapped)的百分比。达到这个上限后会唤醒pdflush把这些脏数据刷新到磁盘,在把脏数据输入磁盘之前所有写IO会被阻塞。所以如果这个值设的过大,则会周期的出现一个写IO峰值,而且这个峰值持续比较长时间,在这段时间内用户的写IO会被阻塞。对于一些业务场景需要把这个值设置的小写,把峰值写IO平分为多次小的写IO。例如:echo 5 >> cat /proc/sys/vm/dirty_backgroud_ratio 把百分比降低到5%。 4.4 dirty_ratio cat /proc/sys/vm/dirty_ratio查看这个值,默认是20(单位是百分比,不同的内核版本可能有不同的默认值)。表示当脏数据占用总内存的百分比超过20%的时候,内核会把所有的写操作阻塞掉,等待pdflush把这些脏数据刷入到磁盘后才能恢复正常的IO写。要注意的是当这个事件发生时,会阻塞掉所有写操作。这样会产生一个很大的问题,一个长时间大IO会抢占更多的IO写资源,可能把其它的小IO饿死。因为大IO产生的脏数据较多,很快达到这个阀值,此时就会系统会阻塞掉所有的写IO,从而小写IO无法进行写操作。
  • 如果是suse的内核
  • 老一点的内核可以调节这两个参数

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ceph-osd pagecache使用限制问题

    ceph-osd上发现内存使用很严重,特别是cache的使用,巨大的内存使用如果不及时释放,加上swap很小,在遇到大文件读写时就会引发kernel oom,进...

    domain0
  • docker的垃圾清理 原

    domain0
  • ceph pg分布相关的脚本 转

    domain0
  • ceph-osd pagecache使用限制问题

    ceph-osd上发现内存使用很严重,特别是cache的使用,巨大的内存使用如果不及时释放,加上swap很小,在遇到大文件读写时就会引发kernel oom,进...

    domain0
  • SpringMVC+RestFul详细示例实战教程一(实现跨域访问+postman测试)

    注意:由于文章篇幅太长,超出了字数,这是文章的第一部分,明天分享文章的第二部分,请见谅!

    好好学java
  • 发布一个轻量级的滑块控件

    比系统自带的组件体积要小很多,而且支持进度条显示(在做播放器时,显示缓冲进度很有用哦),另外也支持三角形的音量调整显示 使用示例: package { imp...

    菩提树下的杨过
  • 那个靠大数据抓到拉登的公司

    据说,一家名叫帕兰提尔(Palantir)的初创公司帮助美军捕杀了奥萨马·本·拉登(Osama bin Laden)。自从这个传闻开始传播以来,阿历克斯·卡普(...

    华章科技
  • .NET Core微服务系列基础文章索引(目录导航v0.8)

      今年从原来的Team里面被抽出来加入了新的Team,开始做Java微服务的开发工作,接触了Spring Boot, Spring Cloud等技术栈,对微服...

    Edison Zhou
  • 那个靠大数据抓到拉登的公司

    据说,一家名叫帕兰提尔(Palantir)的初创公司帮助美军捕杀了奥萨马·本·拉登(Osama bin Laden)。自从这个传闻开始传播以来,阿历克斯·卡普(...

    CSDN技术头条
  • 中情局“御用”数据商帕兰提尔:用数据挖掘抓到拉登

    ? 《福布斯》中文版2013年9月下 作者|Andy Greenberg 据说,一家名叫帕兰提尔(Palanti...

    CDA数据分析师

扫码关注云+社区

领取腾讯云代金券