ceph空间不能释放
1.问题描述
在OpenStack云环境的部署中，存储通常具备Thin provision的功能，这项功能实现了存储按需分配的能力。现在有这样一种场景，用户在文件系统中创建了大文件，使用完之后进行了删除。但实际上，该文件在存储系统上占用的空间并没有释放。
当用户在文件系统中删除一个文件，并不会在块设备上的对应空间填0，而仅仅在磁盘的元数据结构中将这些block标记为未使用。因此，虽然文件系统知道这些block是未使用或者说可用的，但是底层的存储系统并不知道文件系统做的操作，会认为这些block仍在使用。以RBD image为例，它本身是稀疏格式的，也就是说它所占用objects会随着用户写入数据的增加而增加（Thin provision）。当用户删除数据以后，这些obejct不再使用，但并没有被释放。因为从Ceph的角度讲，它并不知道文件系统中发生的事情。
2.解决办法
需要配置Nova和Glance支持virtio-scsi和discard。
1、glance image-update --property hw_scsi_model=virtio-scsi --property hw_disk_bus=scsi
其中，hw_scsi_model=virtio-scsi 是指libvirt要使用virtio-scsi控制器，hs_disk_bus=scsi是指libvirt使用scsi总线连接磁盘到控制器。
2、编辑nova.conf
[libvirt]
hw_disk_discard = unmap
其中，有效的hw_disk_discard参数包括：
unmap: it unmaps aligned group of sectors
ignore: it ignores the discard request2.1 触发Trim/Discard请求
有两种方式可以触发Trim/Discard请求，一种是由文件系统自动完成，一种是用户通过执行命令来完成。
一、文件系统自动完成
只要在挂载文件系统时指定discard参数即可，比如 mount -t ext4 -o discard device mountpoint，这样在文件系统中删除文件后会自动触发Trim/Discard操作，在块设备上释放占用的空间。
二、用户执行命令
用户可以执行命令fstrim来触发Trim/Discard操作，采用这种方式mount文件系统时不需要discard参数。比如，fstrim -v mountpoint，就会释放对应块设备上不用的空间。
需要注意的是，mount的discard参数会导致文件系统性能下降，在并发删除大量小文件时变得很慢，因此需要根据具体场景选择合适的长发方式。2.2 系统盘加discard
不能通过重新挂载设置丢弃选项，因此必须在第一次挂载时使用它（如果是/，则是在引导时由内核挂载rootfs）。关键是使用rootflags来提供discard mount选项作为内核参数
在/boot/grub2/grub.cfg文件中，增加rootflags=discard本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-04-13，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录