前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >InnoDB with reduced page sizes wastes up to 6% of disk space(15.InnoDB减少页的大小会造成6%的磁盘空间浪费)

InnoDB with reduced page sizes wastes up to 6% of disk space(15.InnoDB减少页的大小会造成6%的磁盘空间浪费)

作者头像
冬天里的懒猫
发布2020-09-07 15:09:48
4050
发布2020-09-07 15:09:48
举报
文章被收录于专栏:做不甩锅的后端

InnoDB数据存储的研究中,我提到了MySQL的Bug #67963,题目是“InnoDB每16384页中浪费62页”。我说: InnoDB偶尔需要分配一些内部记账页面;每256mib数据对应2个页。为此,它分配一个区段(64个页面),分配所需的两个页面,然后将剩余的区段(62个空闲页面)添加到一个名为FREE_FRAG的区段列表中,该区段用于单页分配。几乎没有从该列表中分配页面,所以这些页面被浪费了。 这是相当微妙的,在任何大型InnoDB表中只浪费0.37%的磁盘空间,但尽管如此,这还是很有趣的,而且很容易修复。 浪费0.37%的磁盘空间是不幸的,但不是一个大问题……

MySQL 5.6可以调整页面大小

由于MySQL 5.6, InnoDB通过新的配置参数innodb_page_size1支持可调整的页面大小,允许使用4或8个KiB页面,而不是默认的16个KiB页面。我不会在这里详细说明为什么要减小页面大小。相反,回到MySQL错误#67963…数字62和16384都没有修复;它们实际上是可变的。 数字62实际上来自于范围的大小,以页为单位。对于具有1 MiB区段的16个KiB页面,计算结果为每个区段1048576 / 16384 = 64个页面。因为记账时偷了两页,所以还剩下62页。 16384这个数字来自于InnoDB需要经常重复这些簿记页面—它使用页面大小,在页面中,对于这个频率2,这意味着对于16个KiB页面,它每16,384个页面重复一次簿记页面。 如果我们使用8个KiB页面而不是在配置中设置innodb_page_size=8k ?每个区段的页数变为1048576 / 8192 =每个区段的128页。簿记页的频率改为每8192页。所以我们现在浪费126 / 8192 = ~1.5%的磁盘空间来处理这个错误。 如果我们使用4个KiB页面,而不是在配置中设置innodb_page_size=4k ?每个区段的页数变为1048576 / 4096 =每个区段的256页。簿记页的频率更改为每4096页。因此我们现在为这个错误浪费了254 / 4096 = ~6.2%的磁盘空间。

题外话:什么时候一个区段不是区段?

有趣的是,尽管手册上是这样说的,在InnoDB中一个范围实际上并不总是1mib。它实际上是(1048576 / innodb_page_size) * table_page_size。据我所知,这或多或少是InnoDB压缩代码中的一个错误;它应该使用表的实际页面大小(来自于压缩表的KEY_BLOCK_SIZE,也就是zip_size),而不是在编译时固定的系统默认页面大小(UNIV_PAGE_SIZE)。 因此,对于innodb_page_size=16k(默认值)的系统,以及使用ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8创建的表,“区段”实际上只有512 KiB。

如果你混合了InnoDB压缩,这个bug会变得更糟。

果你把这个新的可配置页面大小特性和InnoDB压缩结合在一起,考虑到区段大小的工作原理,你会得到一些非常有趣的结果。 对于一个innodb_page_size=4k的系统和一个用ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=1创建的表,系统实际上浪费了254 / 1024 = ~24.8%的磁盘空间(换句话说,每第4个区段都是一个不可用的片段区段)。

Bug #67963的新标题和一个结论

我更新了Bug #67963,添加了上面的内容,并将标题改为“InnoDB浪费了几乎每个innodb_page_size页面的一个区段”,这样更准确一些。 果您正在考虑在您的系统中使用4k页面,您可能想要订阅这个错误,并且可能会推迟,除非您能够负担超过6%的磁盘空间浪费(以及所有其他浪费)。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/09/02 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • MySQL 5.6可以调整页面大小
  • 题外话:什么时候一个区段不是区段?
  • 如果你混合了InnoDB压缩,这个bug会变得更糟。
  • Bug #67963的新标题和一个结论
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档