前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >POSTGRESQL 设置hugepage 可以让系统使用内存更有效率,防止OOM

POSTGRESQL 设置hugepage 可以让系统使用内存更有效率,防止OOM

作者头像
AustinDatabases
发布2021-10-28 10:01:21
8600
发布2021-10-28 10:01:21
举报
文章被收录于专栏:AustinDatabasesAustinDatabases

https://www.percona.com/blog/why-linux-hugepages-are-super-important-for-database-servers-a-case-with-postgresql/

Hugepage 是什么,基于LINUX 系统,大页面对虚拟内存管理是有必要的。除标准的4KB页面之外,还进行内存中的大页面的管理,可以使用大页面定义1GB的页面大小的内存页面。在虚拟内存管理中,内核维护一个表,其中有一个虚拟内存地址到物理地址的映射。对于每个页面事务,内核都需要加载相关的映射。如果页面较小,则需要加载更多的页面,从而导致内核加载更多的映射表。

在系统运行后,可以通过下面的脚本来调整你hugepage 的设置,脚本来自oracle 公司。

#!/bin/bash

#

# hugepages_settings.sh

#

# Linux bash script to compute values for the

# recommended HugePages/HugeTLB configuration

#

# Note: This script does calculation for all shared memory

# segments available when the script is run, no matter it

# is an Oracle RDBMS shared memory segment or not.

# Check for the kernel version

KERN=`uname -r | awk -F. '{ printf("%d.%d\n",

# Find out the HugePage size

HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`

# Start from 1 pages to be on the safe side and guarantee 1 free HugePage

NUM_PG=1

# Cumulative number of pages required to handle the running shared memory segments

for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`

do

MIN_PG=`echo "

if [ $MIN_PG -gt 0 ]; then

NUM_PG=`echo "

fi

done

# Finish with results

case $KERN in

'2.4') HUGETLB_POOL=`echo "

echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;

'2.6' | '3.8' | '3.10' | '4.1' ) echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;

*) echo "Unrecognized kernel version $KERN. Exiting." ;;

esac

# End

(需要系统运行,并在正常使用中运行脚步,获得调整值)

然后将给出的建议,放入到 /etc/sysctl.conf 系统文件,然后执行

sudo sysctl -p 将参数加入到系统中。

下面我们就操作通过PG 的数据库压测对比一下,在没有hugepage 和 启用huge page 系统在使用中内存消耗的不同。

在压力测试中,可以关注used 和 available 的内存变化,这里可以看到在压测的时候, 两个参数一直在下降,这样很容易引起 OOM

打开hugepage 并进行一些配置,后再次进行测试 (后面在说怎么进行配置,怎么进行的压测)

通过上面和下面这两个图对比,used 在同样的压力下,基本上没有变化,used 变化较大。这证明在压力测试的时候,PG 在使用内存方面比较稳定。

下面来说说怎么设置的

1 如何进行huge page 的设置

首先在系统运行时,通过命令获得postgres 中postmaster 的PID ,在通过命令 grep ^VmPeak /proc/5599/status, 获得使用的vmPeak的数量

2 通过计算数据转换为MB /2 ,然后将计算好的数据填入系统文件中 (页面预设尺寸 2mb)

3 vi /etc/sysctl.conf 输入计算好的数据 vm.nr_hugepages = 2245

4 运行 sysctl -p 命令

5 修改PG 的配置文件强制 huge_page = on

6 重启动PG 服务

经过上面的测试可以证明在打开huge_page = on (默认是try) 的情况下对内存占用有一定的保护,降低OOM 的风险。

注:try 的情况下 ,有可能无法打开huge_page = on 启动时也有可能失败,具体原因找时间在说。

压力测试以及硬件配置为 16G 内存,2CORE CPU SSD 磁盘, 模拟80客户端进行压力测试。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-10-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AustinDatabases 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档